AirflowException:SSH操作员错误:没有可用的身份验证方法
我使用Apache Airflow已经有一段时间了,由于一个用例,我需要将SparkSubmitoOperator重新写入SSHOperator。My airflow安装在AWS EMR上,spark submit需要在同一个EMR上进行。但是操作符失败,出现-AirflowException:SSH操作符错误:没有可用的身份验证方法 我使用默认的ssh\u conn\u id=ssh\u default,并尝试作为ssh\u hook传递,但似乎没有任何效果 dag文件AirflowException:SSH操作员错误:没有可用的身份验证方法,airflow,Airflow,我使用Apache Airflow已经有一段时间了,由于一个用例,我需要将SparkSubmitoOperator重新写入SSHOperator。My airflow安装在AWS EMR上,spark submit需要在同一个EMR上进行。但是操作符失败,出现-AirflowException:SSH操作符错误:没有可用的身份验证方法 我使用默认的ssh\u conn\u id=ssh\u default,并尝试作为ssh\u hook传递,但似乎没有任何效果 dag文件 hook = SSH
hook = SSHHook(ssh_conn_id='ssh_default')
spark_submit = """
spark-submit ....
"""
process = SSHOperator(
task_id='execute_pySpark',
ssh_hook=hook,
command=spark_submit,
do_xcom_push=True
)
气流连接
Conn Id: ssh_default
Conn Type: SSH
Host: localhost
任何见解都值得赞赏。提前谢谢你 根据中指定的详细信息配置SSH连接
添加用户名和密码(如果有)。主机字段应包含远程虚拟机的IP地址,除非Spark主机位于本地主机上。根据中指定的详细信息配置SSH连接 添加用户名和密码(如果有)。主机字段应包含远程VM的IP地址,除非Spark主机位于本地主机上