Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark MountVolume。卷“的安装失败;火花形态卷;_Apache Spark_Kubernetes - Fatal编程技术网

Apache spark MountVolume。卷“的安装失败;火花形态卷;

Apache spark MountVolume。卷“的安装失败;火花形态卷;,apache-spark,kubernetes,Apache Spark,Kubernetes,我们正在Kubernetes上运行Spark Cluster。当我们提交如下作业时,驱动程序和执行程序都已启动并运行。然而,应用程序未能按预期工作,我们怀疑的根本原因是它未能找到参数“py files”指定的源路径。正如我们看到的,驱动程序吊舱有一个警告挂载卷。卷“spark conf volume”的安装失败。 你能给我个建议吗 bin/spark-submit \ --master k8s://https://k8s-master-ip:6443 \ --deploy-mode clust

我们正在Kubernetes上运行Spark Cluster。当我们提交如下作业时,驱动程序和执行程序都已启动并运行。然而,应用程序未能按预期工作,我们怀疑的根本原因是它未能找到参数“py files”指定的源路径。正如我们看到的,驱动程序吊舱有一个警告挂载卷。卷“spark conf volume”的安装失败。 你能给我个建议吗

bin/spark-submit \
--master k8s://https://k8s-master-ip:6443  \
--deploy-mode cluster \
--name algo-vm \
--py-files hdfs://{our_ip}:9000/testdata/src.zip \
--conf spark.executor.instances=2 \
--conf spark.driver.port=10000 \
--conf spark.port.maxRetries=1 \
--conf spark.blockManager.port=20000 \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.kubernetes.container.image.pullPolicy=Always \
--conf spark.kubernetes.pyspark.pythonVersion=3 \
--conf spark.kubernetes.container.image={our_ip}/sutpc/k8s-spark-242-entry/spark-py:1.0 \
--jars hdfs://hdfs-master-ip:9000/jar/spark-sql-kafka-0-10_2.11-2.4.5.jar,hdfs://{our_ip}:9000/jar/kafka-clients-0.11.0.2.jar \
hdfs://{our_ip}:9000/testdata/spark_main.py

我看到了同样的警告,并怀疑这是pyFiles无法从GCS获取的原因-->谢谢@denise,我们解决了这个问题。正如你所说,这就是pyFiles找不到的原因。太好了,你是如何解决这个问题的?@denise我们通过在docker中指定PYTHON_路径解决了这个问题,请参阅