Hadoop 将文件从FTP复制到HDFS
我需要将集群外的FTP服务器上的文件复制到Hadoop，即 HDFSHadoop 将文件从FTP复制到HDFS,hadoop,ftp,Hadoop,Ftp,我需要将集群外的FTP服务器上的文件复制到Hadoop，即 HDFS 提前感谢。您看过WebHDFS（）或HttpFS（）吗 这些服务需要访问Hadoop集群，然后您可以将HttpFS端口公开给能够访问FTP服务器的服务器 你试过这个吗。。。您可以修改此代码，并将文件的参数更改为FTP a agrs[0]，将HDFS Paht更改为args[1]。然后将其作为hadoop jar运行。希望这对……有所帮助。试试这个： hadoop fs-get temp_file | hadoop fs-mov
提前感谢。您看过WebHDFS（）或HttpFS（）吗 这些服务需要访问Hadoop集群，然后您可以将HttpFS端口公开给能够访问FTP服务器的服务器 你试过这个吗。。。您可以修改此代码，并将文件的参数更改为FTP a agrs[0]，将HDFS Paht更改为args[1]。然后将其作为hadoop jar运行。希望这对……有所帮助。试试这个：
hadoop fs-get temp_file | hadoop fs-movefrom本地tmp_文件hadoop_path/dest_file在Python中，我这样做：
subprocess.run（'hadoop fs-getftp://uid:password@服务器\u url/file\u路径tmp\u文件| hadoop fs-movefrom本地tmp\u文件hadoop\u路径/dest\u文件'，check=True，shell=True）