AirflowException:SSH操作员错误:没有可用的身份验证方法

AirflowException:SSH操作员错误:没有可用的身份验证方法,airflow,Airflow,我使用Apache Airflow已经有一段时间了,由于一个用例,我需要将SparkSubmitoOperator重新写入SSHOperator。My airflow安装在AWS EMR上,spark submit需要在同一个EMR上进行。但是操作符失败,出现-AirflowException:SSH操作符错误:没有可用的身份验证方法 我使用默认的ssh\u conn\u id=ssh\u default,并尝试作为ssh\u hook传递,但似乎没有任何效果 dag文件 hook = SSH

我使用Apache Airflow已经有一段时间了,由于一个用例,我需要将SparkSubmitoOperator重新写入SSHOperator。My airflow安装在AWS EMR上,spark submit需要在同一个EMR上进行。但是操作符失败,出现-AirflowException:SSH操作符错误:没有可用的身份验证方法

我使用默认的ssh\u conn\u id=ssh\u default,并尝试作为ssh\u hook传递,但似乎没有任何效果

dag文件


hook = SSHHook(ssh_conn_id='ssh_default')

spark_submit = """
spark-submit ....
"""

process = SSHOperator(
        task_id='execute_pySpark',
        ssh_hook=hook,
        command=spark_submit,
        do_xcom_push=True
    )
气流连接


Conn Id:   ssh_default
Conn Type: SSH
Host:      localhost

任何见解都值得赞赏。提前谢谢你

根据中指定的详细信息配置SSH连接


添加用户名和密码(如果有)。主机字段应包含远程虚拟机的IP地址,除非Spark主机位于本地主机上。

根据中指定的详细信息配置SSH连接

添加用户名和密码(如果有)。主机字段应包含远程VM的IP地址,除非Spark主机位于本地主机上