Python SparkSubmitOperator部署模式

Python SparkSubmitOperator部署模式,python,apache-spark,airflow,Python,Apache Spark,Airflow,我正在使用SparkSubmitoOperator,但我没有看到任何与Spark的部署模式等效的东西。如何指定它是客户端还是群集 这是SparkSubmitor操作员的ctor的签名: @apply_defaults def __init__(self, application='', conf=None, conn_id='spark_default', files=None,

我正在使用SparkSubmitoOperator,但我没有看到任何与Spark的部署模式等效的东西。如何指定它是客户端还是群集

这是SparkSubmitor操作员的ctor的签名:

@apply_defaults
def __init__(self,
             application='',
             conf=None,
             conn_id='spark_default',
             files=None,
             py_files=None,
             archives=None,
             driver_class_path=None,
             jars=None,
             java_class=None,
             packages=None,
             exclude_packages=None,
             repositories=None,
             total_executor_cores=None,
             executor_cores=None,
             executor_memory=None,
             driver_memory=None,
             keytab=None,
             principal=None,
             proxy_user=None,
             name='airflow-spark',
             num_executors=None,
             status_poll_interval=1,
             application_args=None,
             env_vars=None,
             verbose=False,
             spark_binary="spark-submit",
             *args,
             **kwargs):

我在谷歌上搜索了几个小时,但什么也没找到。

进入管理->连接菜单:

在额外字段中编辑spark默认参数和


{“deploy mode”:“cluster”}

@mangusta为什么我要尝试一个ctor不接受的参数?糟糕的是,我忽略了一个事实,那就是它是一个签名,而不是调用。部署模式似乎能够通过“spark.submit.deployMode”配置属性传递,您可以将该属性包含在“conf”参数中(“默认情况下为“无”)