Apache spark HDFS URI不完整，没有主机，altohugh文件不存在_Apache Spark_Hadoop_Pyspark_Hdfs_Hdp

Apache spark HDFS URI不完整，没有主机，altohugh文件不存在

apache-spark hadoop pyspark

Apache spark HDFS URI不完整，没有主机，altohugh文件不存在,apache-spark,hadoop,pyspark,hdfs,hdp,Apache Spark,Hadoop,Pyspark,Hdfs,Hdp,我正试图通过pyspark访问hdfs中的文件，代码如下： spark = SparkSession.builder.appName("MongoDBIntegration").getOrCreate() receipt = spark.read.json("hdfs:///bigdata/2.json") 我得到一个错误不完整的HDFS URI，没有主机：hdfs:///bigdata/2.json 但是，如果我编写hdfs dfs-cat/bigdata/1.json命令，它会将我的文件打

我正试图通过pyspark访问hdfs中的文件，代码如下：

spark = SparkSession.builder.appName("MongoDBIntegration").getOrCreate()
receipt = spark.read.json("hdfs:///bigdata/2.json")

我得到一个错误不完整的HDFS URI，没有主机：hdfs:///bigdata/2.json

但是，如果我编写hdfs dfs-cat/bigdata/1.json命令，它会将我的文件打印出来，错误消息表明您没有在hdfs URI中指定主机

尝试使用以下命令更改URI：

hdfs://<HDFS_HOST>:<HDFS_PORT>/bigdata/2.json

受审hdfs://localhost:8020/bigdata/2.json 并得到一个错误：java.net.ConnectException:从sandbox hdp.hortonworks.com/172.18.0.2调用localhost:8020失败，连接异常：java.net.ConnectException:连接被拒绝；您必须检查哪个是HDFS NameNode fs.default.name fs.defaultFS的侦听地址hdfs://sandbox-hdp.hortonworks.com:8020 如果为true，请尝试URIhdfs://sandbox-hdp.hortonworks.com:8020/bigdata/2.jsonit 工作！但我不明白，为什么localhost不起作用？我检查了我的主机文件，有一个从沙盒到本地主机的重定向