Google cloud dataflow 使用airflow Cloud Composer运行多文件python apache beam
我有一个多文件python apache beam作业，我想通过airflow/Cloud composer在云数据流上运行它。我的多文件作业是按照此建议设计的，它在CLI中工作时没有任何问题。Google cloud dataflow 使用airflow Cloud Composer运行多文件python apache beam,google-cloud-dataflow,airflow,apache-beam,google-cloud-composer,Google Cloud Dataflow,Airflow,Apache Beam,Google Cloud Composer,我有一个多文件python apache beam作业，我想通过airflow/Cloud composer在云数据流上运行它。我的多文件作业是按照此建议设计的，它在CLI中工作时没有任何问题。 现在我想通过气流和云合成器运行它。我试过用，但没用。可能我缺少配置此运算符的正确方法。顺便说一句，使用此运算符运行一个文件的python apache beam作业没有问题。这可能与这些多个文件的打包方式有关，这有帮助吗？这可能与这些多个文件的打包方式有关，这有帮助吗？
现在我想通过气流和云合成器运行它。我试过用，但没用。可能我缺少配置此运算符的正确方法。顺便说一句，使用此运算符运行一个文件的python apache beam作业没有问题。这可能与这些多个文件的打包方式有关，这有帮助吗？这可能与这些多个文件的打包方式有关，这有帮助吗？