Apache spark KubernetesPodOperator未按预期发送参数
我已运行KubernetesPodOperator以执行Spark submit调用:Apache spark KubernetesPodOperator未按预期发送参数,apache-spark,airflow,spark-submit,Apache Spark,Airflow,Spark Submit,我已运行KubernetesPodOperator以执行Spark submit调用: spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}' j2g = KubernetesPodOperator( dag=dag, task_id='myApp', name='myApp', namespace='data', image=spark_image,
spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}'
j2g = KubernetesPodOperator(
dag=dag,
task_id='myApp',
name='myApp',
namespace='data',
image=spark_image,
cmds=['/opt/spark/bin/spark-submit'],
configmaps=["data"],
arguments=[
'--master k8s://https://10.96.0.1:443',
'--deploy-mode cluster',
'--name myApp',
f'--conf spark.kubernetes.container.image={spark_image}',
'local:///app/run.py'
],
但是,我得到了以下错误:
Error: Unrecognized option: --master k8s://https://10.96.0.1:443
这很奇怪,因为当我bin/bash到一个正在运行的pod并执行spark submit命令时,它会工作
知道如何按预期传递参数吗?来自GitHub票证的解决方案:参数应按如下方式发送:
'--master=k8s://https://10.96.0.1:443',
GitHub票证的解决方案:参数应按如下方式发送:
'--master=k8s://https://10.96.0.1:443',
spark\u图像是否包含自己的入口点cmds
覆盖入口点,因此您可以检查图像入口点上发生的情况是否解决了您的问题?@elad yes,我将使用解决方案更新spark\u图像是否包含自己的入口点cmds
覆盖入口点,因此您可以检查ImageEntryPoint上发生的情况。您的问题解决了吗?@elad是的,我将使用解决方案进行更新