Apache spark KubernetesPodOperator未按预期发送参数

Apache spark KubernetesPodOperator未按预期发送参数,apache-spark,airflow,spark-submit,Apache Spark,Airflow,Spark Submit,我已运行KubernetesPodOperator以执行Spark submit调用: spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}' j2g = KubernetesPodOperator( dag=dag, task_id='myApp', name='myApp', namespace='data', image=spark_image,

我已运行KubernetesPodOperator以执行Spark submit调用:

spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}'
j2g = KubernetesPodOperator(
    dag=dag,
    task_id='myApp',
    name='myApp',
    namespace='data',
    image=spark_image,
    cmds=['/opt/spark/bin/spark-submit'],
    configmaps=["data"],
    arguments=[
        '--master k8s://https://10.96.0.1:443',
        '--deploy-mode cluster',
        '--name myApp',
        f'--conf spark.kubernetes.container.image={spark_image}',
        'local:///app/run.py'
    ],
但是,我得到了以下错误:

Error: Unrecognized option: --master k8s://https://10.96.0.1:443
这很奇怪,因为当我bin/bash到一个正在运行的pod并执行spark submit命令时,它会工作


知道如何按预期传递参数吗?

来自GitHub票证的解决方案:参数应按如下方式发送:

 '--master=k8s://https://10.96.0.1:443',

GitHub票证的解决方案:参数应按如下方式发送:

 '--master=k8s://https://10.96.0.1:443',

spark\u图像是否包含自己的入口点
cmds
覆盖入口点,因此您可以检查图像入口点上发生的情况是否解决了您的问题?@elad yes,我将使用解决方案更新
spark\u图像是否包含自己的入口点
cmds
覆盖入口点,因此您可以检查ImageEntryPoint上发生的情况。您的问题解决了吗?@elad是的,我将使用解决方案进行更新