Hadoop 如何使用Oozie将远程文件复制到HDFS中?

Hadoop 如何使用Oozie将远程文件复制到HDFS中?,hadoop,hdfs,oozie,Hadoop,Hdfs,Oozie,我必须将远程文件复制到HDFS中。我想使用Oozie,因为我需要每天在特定时间运行此作业。Oozie可以帮助您创建工作流。使用oozie,您可以调用能够将文件从源文件复制到HDFS的外部操作,但oozie不会自动执行此操作 以下是一些建议: 使用自定义程序将文件写入hdfs,例如使用SequenceFile.Writer 水槽可能会有帮助 使用类似camel hdfs的集成组件将文件移动到hdfs ftp文件到hdfs节点,然后从本地磁盘复制到hdfs 调查更多可能适合您的情况的选项。到目前为止

我必须将远程文件复制到HDFS中。我想使用Oozie,因为我需要每天在特定时间运行此作业。

Oozie可以帮助您创建工作流。使用oozie,您可以调用能够将文件从源文件复制到HDFS的外部操作,但oozie不会自动执行此操作

以下是一些建议:

  • 使用自定义程序将文件写入hdfs,例如使用SequenceFile.Writer
  • 水槽可能会有帮助
  • 使用类似camel hdfs的集成组件将文件移动到hdfs
  • ftp文件到hdfs节点,然后从本地磁盘复制到hdfs

  • 调查更多可能适合您的情况的选项。

    到目前为止您尝试了什么?