Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark spark中不同部署模式的文件路径问题_Apache Spark_Hadoop - Fatal编程技术网

Apache spark spark中不同部署模式的文件路径问题

Apache spark spark中不同部署模式的文件路径问题,apache-spark,hadoop,Apache Spark,Hadoop,我正在使用python编写一个simlpe spark应用程序。看起来,如果您在路径“tmp/df”中保存数据帧,您可以在Thread client deploy模式下使用“hadoop fs-get tmp/df”访问文件,但在Thread cluster deploy模式下无法使用“hadoop fs-get tmp/df”访问文件。有人遇到过这个问题吗?是的,这在集群模式下不可能工作,我甚至尝试过使用hadoop文件系统Python客户端,即使这样也不行。我的用例涉及获取HDFS上文件的元

我正在使用python编写一个simlpe spark应用程序。看起来,如果您在路径“tmp/df”中保存数据帧,您可以在Thread client deploy模式下使用“hadoop fs-get tmp/df”访问文件,但在Thread cluster deploy模式下无法使用“hadoop fs-get tmp/df”访问文件。有人遇到过这个问题吗?

是的,这在集群模式下不可能工作,我甚至尝试过使用hadoop文件系统Python客户端,即使这样也不行。我的用例涉及获取HDFS上文件的元数据。