Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 创建SPARK RDD(HDFS上的文件)并调用操作时出错_Hadoop_Apache Spark - Fatal编程技术网

Hadoop 创建SPARK RDD(HDFS上的文件)并调用操作时出错

Hadoop 创建SPARK RDD(HDFS上的文件)并调用操作时出错,hadoop,apache-spark,Hadoop,Apache Spark,错误: scala> val manager=sc.textFile("hdfs://localhost:54310/user/training/employee_dir/employeeManager") scala> manager.first 是否需要设置任何属性spark home/conf?如果包括Java在内的服务未运行,则可能会出现此问题。请检查所有服务是否正在运行。此外,请检查防火墙权限。另一个原因可能是: hadoop的主机名为“xxx”而不是“localhost

错误:

scala> val manager=sc.textFile("hdfs://localhost:54310/user/training/employee_dir/employeeManager")
scala> manager.first

是否需要设置任何属性
spark home/conf

如果包括Java在内的服务未运行,则可能会出现此问题。请检查所有服务是否正在运行。此外,请检查防火墙权限。另一个原因可能是:

hadoop的主机名为“xxx”而不是“localhost”;您可能需要检查 已正确设置“/etc/hosts”中“xxx”和“localhost”的ip地址


无论您做什么,请备份您的文件,并检查您的风险

如果包括Java在内的服务未运行,则可能会出现此问题。请检查所有服务是否正在运行。此外,请检查防火墙权限。另一个原因可能是:

hadoop的主机名为“xxx”而不是“localhost”;您可能需要检查 已正确设置“/etc/hosts”中“xxx”和“localhost”的ip地址

无论您做什么,请备份您的文件,并检查您的风险

java.io.EOFException: 
End of File Exception between local host is:
"localhost.localdomain/127.0.0.1";
destination host is: "localhost":54310; :      
java.io.EOFException; For          more details
see:http://wiki.apache.org/hadoop/EOFException