Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/ant/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 无法使用PDI步骤连接到HDFS_Hadoop_Hdfs_Pentaho_Data Integration - Fatal编程技术网

Hadoop 无法使用PDI步骤连接到HDFS

Hadoop 无法使用PDI步骤连接到HDFS,hadoop,hdfs,pentaho,data-integration,Hadoop,Hdfs,Pentaho,Data Integration,我已经成功地在Ubuntu 14.04虚拟机中从Windows 8系统配置了Hadoop 2.4。 Hadoop安装工作非常好,而且我能够从windows浏览器查看Namenode。附图如下: 所以,我的主机名是:ubuntu和hdfs端口:9000(如果我错了,请纠正我) Core-site.xml: <property> <name>fs.defaultFS</name> <value>hdfs://ubuntu:9000</v

我已经成功地在Ubuntu 14.04虚拟机中从Windows 8系统配置了Hadoop 2.4。 Hadoop安装工作非常好,而且我能够从windows浏览器查看Namenode。附图如下:

所以,我的主机名是:ubuntu和hdfs端口:9000(如果我错了,请纠正我)

Core-site.xml:

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://ubuntu:9000</value>
</property>

fs.defaultFS
hdfs://ubuntu:9000
问题在于从Pentaho数据集成工具连接HDFS时。附件图片如下。 PDI版本:4.4.0 使用的步骤:Hadoop复制文件


请帮助我使用PDI连接HDFS。我需要为此安装或更新任何jar吗??如果您需要更多信息,请告诉我。

PDI 4.4 afaik不支持Hadoop 2.4。在任何情况下,文件中都有一个属性必须设置为使用特定的Hadoop配置(您可以在论坛中看到称为“垫片”的“Hadoop配置”,等等)。在data integration/plugins/pentaho big data plugin/plugin.properties文件中,有一个名为active.hadoop.configuration的属性,默认设置为“hadoop-20”,它是指Apache hadoop 0.20.x发行版。您需要将其设置为Pentaho附带的“最新”发行版,或者按照我的博客文章中的描述构建自己的垫片:


即将推出的PDI版本(5.2+)将支持包括Hadoop 2.4+在内的供应商发行版,因此请关注PDI市场和pentaho.com:)

Ohkk明白你的意思了。谢谢将定义。尝试更改配置。嗨,Matt,我也遇到了同样的问题,但在PDI版本v8.1中,他们似乎没有为Hadoop 2.7添加默认的垫片支持。*。就您的解决方案而言,对于active.Hadoop.configuration的编辑,如何编写Hadoop版本2.7.4,因为Hadoop 0.20被编写为“Hadoop-20”,正如您在解决方案中指出的,那么hadoop版本2.7.4会是“hadoop-274”吗?那么,这里的命名约定是什么呢?我没有跟上PDI版本或它们有哪些垫片。如果他们有一个2.7.x的垫片,它应该在其他垫片的位置,但不确定现在的命名约定是什么。Palu注意到8.1中对于2.7.x没有垫片支撑。