使用python将数据推送到远程hdfs的最佳方式是什么

使用python将数据推送到远程hdfs的最佳方式是什么,python,hadoop,hdfs,Python,Hadoop,Hdfs,我想将本地文件推送到远程hadoop机器。在python中有这样做的方法吗?谢谢。使用python模块 对于安全性已关闭的HDFS环境,一个简单的示例如下 from hdfs import InsecureClient hdfsclient = InsecureClient('http://nn_host:port', user='superuser') hdfsclient.upload(hdfspath, localpath) 使用或基于安全实现 注意:需要WebHDFS(默认启用)为什

我想将本地文件推送到远程hadoop机器。在python中有这样做的方法吗?谢谢。

使用python模块

对于安全性已关闭的HDFS环境,一个简单的示例如下

from hdfs import InsecureClient

hdfsclient = InsecureClient('http://nn_host:port', user='superuser')
hdfsclient.upload(hdfspath, localpath)
使用或基于安全实现


注意:需要
WebHDFS
(默认启用)

为什么要使用PythonPHe需要使用python来回答这个问题。我们可以使用python、java、ruby、shell脚本和Scalay来放置文件。我们的答案只是使用python来调用一个简单的shell脚本,所以我只是问,为什么在这里使用python?亲爱的,我无法理解你的问题。我们可以使用HDFS java API来完成上述工作。但所有这些都将作为shell在后台运行script@KanagarajDhanapal他的意思是不要使用python。直接使用shell。这是Web接口端口<默认情况下,代码>50070。谢谢。如何输入密码?阅读文档后仍然不确定。谢谢。你的密码是多少?是否启用了
安全性
?如果不需要,则不需要任何密码。除此之外,您还必须了解我在回答中提到的另外两个客户机。只是想知道,为什么要使用python。您是否有执行其他操作的python脚本?
import subprocess

hdfs_cmd = "hadoop fs -put local_file_path hdfs_file_path"

subprocess.call(hdfs_cmd, shell=True)