Airflow 气流：使用LivyBatchOperator提交纱线中的PypSpark应用程序

我遇到了一个名为LivyBatchOperator的东西，但找不到一个很好的例子，可以让它在气流中提交Pypark应用程序。任何关于这方面的信息都将不胜感激。提前感谢。

我遇到了这一点，它可以帮助您了解气流+火花的可用选项

是LivyBatchOperator的一个示例，介绍如何安装气流livy Operator

我建议以下几种选择：

AWS EMR：使用EmrAddStepsOperator

常规火花束：使用上述机构在气流中设置Livy操作器。这将给你一个流畅的配置，从气流服务器的角度来看，以及使用在前面的火花簇Livy

让我知道你的反应

我遇到了这一点，它可以帮助您了解气流+火花的可用选项

是LivyBatchOperator的一个示例，介绍如何安装气流livy Operator

我建议以下几种选择：

AWS EMR：使用EmrAddStepsOperator

常规火花束：使用上述机构在气流中设置Livy操作器。这将给你一个流畅的配置，从气流服务器的角度来看，以及使用在前面的火花簇Livy

---

让我知道你的反应

谢谢，各自的博客帮助我开始。我们可以在file参数中传递zip文件，在通过livy提交pyspark应用程序时传递class_名称吗？是的，有一个选项可以使用files参数传递zip文件，而不使用file。文件-用于发送ZIP文件列表文件-对于python，将其用作运行spark驱动程序类的入口点\u name-这将是Java/spark主类的类名。请参阅此处了解Livy API文档，这是LivyBatch操作员的主要职责。当我尝试这个

LivyBatchOperator（task\u id='spark\u job'，file='/abc/xyz.zip'，class\u name='src.foo.py'，py files），“spark.submit.pyFiles”：“/abc/lmn.zip”，其中src.foo.py是xyz.zip中的文件

错误：--py给定的文件，但主要资源不是Python脚本

@谢谢，这些博客帮助我从一开始。我们可以在file参数中传递zip文件，在通过livy提交pyspark应用程序时传递class_名称吗？是的，有一个选项可以使用files参数传递zip文件，而不使用file。文件-用于发送ZIP文件列表文件-对于python，将其用作运行spark驱动程序类的入口点\u name-这将是Java/spark主类的类名。请参阅此处了解Livy API文档，这是LivyBatch操作员的主要职责。当我尝试这个

LivyBatchOperator（task\u id='spark\u job'，file='/abc/xyz.zip'，class\u name='src.foo.py'，py files），“spark.submit.pyFiles”：“/abc/lmn.zip”，其中src.foo.py是xyz.zip中的文件

错误：--py给定的文件，但主要资源不是Python脚本

@阿卜杜勒