Hadoop 如何使用BDM(Informatica)将文件从本地文件系统复制到hdfs文件系统?

Hadoop 如何使用BDM(Informatica)将文件从本地文件系统复制到hdfs文件系统?,hadoop,hdfs,informatica,Hadoop,Hdfs,Informatica,我正在使用Informatica 10.2.1版,并使用BDM将文件从本地文件系统复制并粘贴到HDFS文件系统。我是BDM的新手,不知道怎么做 目前,我已经创建了一个对象,并填写了读写参数。我使用输入类型和输出类型作为命令并发出命令hdfs dfs-copyFromLocal-f/tmp/x.csv/tmp/x 非常感谢您的帮助 编辑 粘贴错误的图像 命令Informatica中的输入类型用于读取数据。像cat filename.txt一样,将数据流出来,由Informatica读取并进一步处理

我正在使用Informatica 10.2.1版,并使用BDM将文件从本地文件系统复制并粘贴到HDFS文件系统。我是BDM的新手,不知道怎么做

目前,我已经创建了一个对象,并填写了读写参数。我使用
输入类型
输出类型
作为
命令
并发出命令
hdfs dfs-copyFromLocal-f/tmp/x.csv/tmp/x

非常感谢您的帮助

编辑 粘贴错误的图像


命令
Informatica中的输入类型用于读取数据。像
cat filename.txt
一样,将数据流出来,由Informatica读取并进一步处理。 它并不意味着执行shell命令任务。要完成此操作,应在工作流中使用
命令任务

ETL工具从一个源读取数据,执行转换,并将数据写入另一个称为目标的位置

您在这里尝试做的是一件完全不同的事情,与ETL无关。也许您可以使用一个简单的shell脚本

如果您仍然希望以适当的方式使用Informatica完成此操作,则需要定义源、定义目标并映射数据端口。如果你有问题就回来


最后一句话:您需要确保集成服务器可以访问源位置。它似乎是您的本地文件,可能无法从远程服务器访问。

在BDM 10.2.1中,您可以使用典型的源到目标流。对于您的场景,您可以将平面文件定义为源,将HDFS定义为目标。BDM是一个企业etl工具,可以与hadoop框架一起使用。除了点源到平面文件连接之外,还需要为目标设置hdfs连接。 连接图像


映射图像:

hdfs dfs-copyFromLocal
正确。。。您看到了什么错误?@cricket_007,请查看所附的错误。我不知道此工具,但根据该错误,
command
不是有效的输出“文件类型”。我想你想要的是
OutputType=csv
这是Informatica DeveloperSure,但是
command
不是“输入/输出类型”,听起来你是对的@Maciejg。我有一个解决这个问题的办法,这确实不是一个好办法,但当然可以。我会写下来作为我的答案。