如何在没有Livy的情况下将spark作业远程提交到Azure HDInsights群集

我想从airflow向azure hdInsights群集提交spark作业，我不想使用livy，因为它不会在airflow上累积日志。是否可以进行远程提交作业。SSH是一个选项，但若作业长时间运行，它可能会中断连接。还有其他选择吗？

---

注意-气流群集是远程群集，它不与spark群集共存

查看第四点，并且第四点已与他们一起检查，其中没有一个有用，因为Azure Hdinsights群集不公开这些端口。查看第四点，并且第四点已与他们一起检查，没有一个有用，因为Azure Hdinsights群集不公开这些端口。