Python 3.x 如何使用python在带有hdfs3库的HDFS上上载本地文件

Python 3.x 如何使用python在带有hdfs3库的HDFS上上载本地文件,python-3.x,hadoop,hdfs,Python 3.x,Hadoop,Hdfs,我正在尝试使用python脚本在HDFS上上传一个本地文件。现在,我有Hue(用户名和密码),我的ip地址。我想使用python中的hdfs3库。我基本上知道如何使这个过程自动化。我可以使用Hue(运行一些查询)在HDFS上找到我想要上传的位置 我的问题是在哪里可以找到此主机、端口信息并连接到HDFS from hdfs3 import HDFileSystem hdfs = HDFileSystem(host=***, port=***) 这些将是namenode地址和端口 请向您的群集管

我正在尝试使用python脚本在HDFS上上传一个本地文件。现在,我有Hue(用户名和密码),我的ip地址。我想使用python中的hdfs3库。我基本上知道如何使这个过程自动化。我可以使用Hue(运行一些查询)在HDFS上找到我想要上传的位置

我的问题是在哪里可以找到此主机、端口信息并连接到HDFS

from hdfs3 import HDFileSystem

hdfs = HDFileSystem(host=***, port=***)

这些将是namenode地址和端口

请向您的群集管理员咨询该信息。或者,如果您是色调管理员,您可能可以从配置页面获取该信息


注意:如果与python脚本在同一台机器上工作,您也可以使用
hdfs dfs-put
,作为后续操作。1.每个namenode对应一个具有特定地址和端口的计算机集群,对吗?2.如果程序通过代码行hdfs=HDFileSystem(主机=***,端口=***),这通常意味着我们连接到hdfs,我们可以上传一些东西,但它不需要授权?像色调上的用户名和密码?ThanksNameNode是HDFS集群的单一地址。Hue上的用户名与HDFS上的用户帐户没有直接关系,具体取决于授权方法,但有时NameNode确实需要用户身份验证