使用spark/scala从hdfs读取csv
我正在使用spark 2.3.0和hadoop 2.9.1 我正在尝试用spark加载位于hdfs中的CSV文件使用spark/scala从hdfs读取csv,scala,apache-spark,hadoop,hdfs,Scala,Apache Spark,Hadoop,Hdfs,我正在使用spark 2.3.0和hadoop 2.9.1 我正在尝试用spark加载位于hdfs中的CSV文件 scala> val dataframe = spark.read.format("com.databricks.spark.csv").option("header","true").schema(schema).load("hdfs://127.0.0.1:50075/filesHDFS/data.csv") 但我得到了以下错误： 2018-11-14 11:47:58
scala> val dataframe = spark.read.format("com.databricks.spark.csv").option("header","true").schema(schema).load("hdfs://127.0.0.1:50075/filesHDFS/data.csv")
2018-11-14 11:47:58 WARN FileStreamSink:66 - Error while looking for metadata directory.
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "Desktop-Presario-CQ42-Notebook-PC/127.0.0.1"; destination host is: "localhost":50070;
不要使用127.0.0.1，而是使用默认的FS名称。您可以在属性fs.defaultFS下的core-site.xml文件中找到它 它应该能解决你的问题