Python SparkSubmitOperator部署模式
我正在使用SparkSubmitoOperator,但我没有看到任何与Spark的部署模式等效的东西。如何指定它是客户端还是群集 这是SparkSubmitor操作员的ctor的签名:Python SparkSubmitOperator部署模式,python,apache-spark,airflow,Python,Apache Spark,Airflow,我正在使用SparkSubmitoOperator,但我没有看到任何与Spark的部署模式等效的东西。如何指定它是客户端还是群集 这是SparkSubmitor操作员的ctor的签名: @apply_defaults def __init__(self, application='', conf=None, conn_id='spark_default', files=None,
@apply_defaults
def __init__(self,
application='',
conf=None,
conn_id='spark_default',
files=None,
py_files=None,
archives=None,
driver_class_path=None,
jars=None,
java_class=None,
packages=None,
exclude_packages=None,
repositories=None,
total_executor_cores=None,
executor_cores=None,
executor_memory=None,
driver_memory=None,
keytab=None,
principal=None,
proxy_user=None,
name='airflow-spark',
num_executors=None,
status_poll_interval=1,
application_args=None,
env_vars=None,
verbose=False,
spark_binary="spark-submit",
*args,
**kwargs):
我在谷歌上搜索了几个小时,但什么也没找到。进入管理->连接菜单: 在额外字段中编辑spark默认参数和
{“deploy mode”:“cluster”}@mangusta为什么我要尝试一个ctor不接受的参数?糟糕的是,我忽略了一个事实,那就是它是一个签名,而不是调用。部署模式似乎能够通过“spark.submit.deployMode”配置属性传递,您可以将该属性包含在“conf”参数中(“默认情况下为“无”)