Python 3.x 如何用新的fs.hadoop文件系统替换旧的旧hdfs连接器？

当我尝试更换旧版hdfs连接器时

from pyarrow import hdfs
fs = hdfs.connect()

from pyarrow import fs
client = fs.HadoopFileSystem(host="default")

，与新的fs连接器配合使用效果非常好

from pyarrow import hdfs
fs = hdfs.connect()

from pyarrow import fs
client = fs.HadoopFileSystem(host="default")

我的python内核崩溃了。

---

我做错了什么？

检查您的环境中是否设置了这三个参数。 在你的终端上检查这个

echo$HADOOP\u HOME
echo$JAVA_主页
echo$ARROW\u LIBHDFS\u DIR

如果不是，您可能希望在使用pyarrow之前设置环境。你可以在python上试试这个

导入操作系统
从pyarrow导入fs
操作系统环境['HADOOP_HOME']=
操作系统环境['ARROW\u LIBHDFS\u DIR']='
fs.hadoop文件系统（“hdfs://namenode:8020?user=hdfsuser")
#Hadoop文件系统（“namenode”）也应该可以工作

见此——