Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/325.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python --在Spark Submit模块中找不到py文件_Python_Apache Spark_Pyspark - Fatal编程技术网

Python --在Spark Submit模块中找不到py文件

Python --在Spark Submit模块中找不到py文件,python,apache-spark,pyspark,Python,Apache Spark,Pyspark,我们正在使用下面的示例中的选项--py files将一些ZIP文件传递给Spark Submit spark-submit --master yarn \ --name Application \ --deploy-mode cluster \ --driver-memory 3g \ --py-files "/<PATH>/Specific_App.zip","/<PATH>/Utilities.zip" spark提交——主纱线\ --姓名申请\ --部署模式群集\

我们正在使用下面的示例中的选项
--py files
将一些ZIP文件传递给
Spark Submit

spark-submit --master yarn \
--name Application \
--deploy-mode cluster \
--driver-memory 3g \
--py-files "/<PATH>/Specific_App.zip","/<PATH>/Utilities.zip"
spark提交——主纱线\
--姓名申请\
--部署模式群集\
--驱动程序存储器3g\
--py文件“//Specific_App.zip”,“//Utilities.zip”
在运行Spark应用程序时,我的理解是在运行时解压缩ZIP文件以访问Python文件(模块)。 现在我对这方面有几个问题

  • ZIP文件是否已解压缩并保存在内存中
  • 如何才能知道Spark应用程序中的文件是否正确解压缩
  • 文件解压缩是否会创建与ZIP文件同名的父文件夹
  • 假设在我的场景中,我的两个ZIP文件都有一个通用的树结构,例如(parent/child1/child2中没有任何文件,只有它的子目录)
Utilities.zip->parent/child1/child2/Utilities/

Specific\u App.zip->parent/child1/child2/Specific\u App/

在这种情况下,在解压缩ZIP文件时会出现问题,比如说特定的_App.ZIP被解压缩。如果Utilities.ZIP先前被解压缩,那么文件夹结构parent/child1/child2将已经可用

我收到一个模块未找到错误,并查看导入的模块是否位于Utilities.zip中的正确路径中

如果需要更多信息,请务必告诉我