Apache spark spark中不同部署模式的文件路径问题

Apache spark spark中不同部署模式的文件路径问题,apache-spark,hadoop,Apache Spark,Hadoop,我正在使用python编写一个simlpe spark应用程序。看起来,如果您在路径“tmp/df”中保存数据帧,您可以在Thread client deploy模式下使用“hadoop fs-get tmp/df”访问文件,但在Thread cluster deploy模式下无法使用“hadoop fs-get tmp/df”访问文件。有人遇到过这个问题吗?是的,这在集群模式下不可能工作,我甚至尝试过使用hadoop文件系统Python客户端,即使这样也不行。我的用例涉及获取HDFS上文件的元

我正在使用python编写一个simlpe spark应用程序。看起来,如果您在路径“tmp/df”中保存数据帧,您可以在Thread client deploy模式下使用“hadoop fs-get tmp/df”访问文件,但在Thread cluster deploy模式下无法使用“hadoop fs-get tmp/df”访问文件。有人遇到过这个问题吗?

是的,这在集群模式下不可能工作,我甚至尝试过使用hadoop文件系统Python客户端,即使这样也不行。我的用例涉及获取HDFS上文件的元数据。