Eclipse 猪棚月食设置

Eclipse 猪棚月食设置,eclipse,hadoop,apache-pig,Eclipse,Hadoop,Apache Pig,我在Eclipse中设置猪圈非常困难。官方文件已经过时了(据我所知) 我已经启动并运行了所有东西(Eclipse、PigPen、Java等),可以运行作业,但我真的不知道如何设置配置文件,特别是hadoop-site.xml和pig.configuration。如果有人已经让这个工作,并可以张贴他们的一般配置文件,我想这将是我所需要的一切。这是我第一次尝试在Hadoop集群上使用客户机工具。其他时间我都直接在集群机器上工作 如果这有什么区别的话,我在OSX上。很抱歉,没有更多的细节,我只是走到了

我在Eclipse中设置猪圈非常困难。官方文件已经过时了(据我所知)

我已经启动并运行了所有东西(Eclipse、PigPen、Java等),可以运行作业,但我真的不知道如何设置配置文件,特别是hadoop-site.xml和pig.configuration。如果有人已经让这个工作,并可以张贴他们的一般配置文件,我想这将是我所需要的一切。这是我第一次尝试在Hadoop集群上使用客户机工具。其他时间我都直接在集群机器上工作


如果这有什么区别的话,我在OSX上。很抱歉,没有更多的细节,我只是走到了死胡同,我找到的任何文档对我都没有帮助。

据我所知,Hadoop只在基于Linux的系统上运行,所以如果您在OSX上,您应该不会有问题。hadoop站点和pigconfiguration应该来自hadoop安装文件。

我参加聚会迟到了,但差不多一年后,我发现自己也遇到了同样的问题。我碰巧使用的是2.X版本的Hadoop,但显然Pig Pen还没有跟上

在我的例子中,我需要做的是在遵循所有定义的设置步骤之前,为折旧后的
hadoop site.xml
文件创建一个占位符

在我的例子中,我的
pig.properties
文件位于此处:

/usr/local/hadoop/pig-0.15.0/conf
起初,我认为我可以创建一个指向适当配置的链接,例如:

ln -s /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/core-site.xml /usr/local/hadoop/pig-0.15.0/conf/hadoop-site.xml
但是这个插件无法处理链接,而且现在的配置非常不同(我将在下面讨论)

因此,我在上面的
conf
文件夹中添加了一个名为
hadoop site.xml
的文件,并添加了一个空白配置以避免解析错误:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="nutch-conf.xsl"?>
<configuration>
</configuration>

不幸的是,如果你没有添加适当的Hadoop配置,你就失去了Pig Pen的互动优势,但Hadoop 2.X与Hadoop 1.X如此不同,我看不到一种正确的配置方式(在他们更新Pig Pen之前,如果你找到了适当的配置,一定要发表评论)。您得到的是语法突出显示,我发现它对于编写Pig脚本非常有用