Hadoop 无法使用PDI步骤连接到HDFS
我已经成功地在Ubuntu 14.04虚拟机中从Windows 8系统配置了Hadoop 2.4。 Hadoop安装工作非常好,而且我能够从windows浏览器查看Namenode。附图如下: 所以,我的主机名是:ubuntu和hdfs端口:9000(如果我错了,请纠正我) Core-site.xml:Hadoop 无法使用PDI步骤连接到HDFS,hadoop,hdfs,pentaho,data-integration,Hadoop,Hdfs,Pentaho,Data Integration,我已经成功地在Ubuntu 14.04虚拟机中从Windows 8系统配置了Hadoop 2.4。 Hadoop安装工作非常好,而且我能够从windows浏览器查看Namenode。附图如下: 所以,我的主机名是:ubuntu和hdfs端口:9000(如果我错了,请纠正我) Core-site.xml: <property> <name>fs.defaultFS</name> <value>hdfs://ubuntu:9000</v
<property>
<name>fs.defaultFS</name>
<value>hdfs://ubuntu:9000</value>
</property>
fs.defaultFS
hdfs://ubuntu:9000
问题在于从Pentaho数据集成工具连接HDFS时。附件图片如下。
PDI版本:4.4.0
使用的步骤:Hadoop复制文件
请帮助我使用PDI连接HDFS。我需要为此安装或更新任何jar吗??如果您需要更多信息,请告诉我。PDI 4.4 afaik不支持Hadoop 2.4。在任何情况下,文件中都有一个属性必须设置为使用特定的Hadoop配置(您可以在论坛中看到称为“垫片”的“Hadoop配置”,等等)。在data integration/plugins/pentaho big data plugin/plugin.properties文件中,有一个名为active.hadoop.configuration的属性,默认设置为“hadoop-20”,它是指Apache hadoop 0.20.x发行版。您需要将其设置为Pentaho附带的“最新”发行版,或者按照我的博客文章中的描述构建自己的垫片:
即将推出的PDI版本(5.2+)将支持包括Hadoop 2.4+在内的供应商发行版,因此请关注PDI市场和pentaho.com:)Ohkk明白你的意思了。谢谢将定义。尝试更改配置。嗨,Matt,我也遇到了同样的问题,但在PDI版本v8.1中,他们似乎没有为Hadoop 2.7添加默认的垫片支持。*。就您的解决方案而言,对于active.Hadoop.configuration的编辑,如何编写Hadoop版本2.7.4,因为Hadoop 0.20被编写为“Hadoop-20”,正如您在解决方案中指出的,那么hadoop版本2.7.4会是“hadoop-274”吗?那么,这里的命名约定是什么呢?我没有跟上PDI版本或它们有哪些垫片。如果他们有一个2.7.x的垫片,它应该在其他垫片的位置,但不确定现在的命名约定是什么。Palu注意到8.1中对于2.7.x没有垫片支撑。