Google cloud platform Google Cloud Composer:关于语言和工作流的问题

Google cloud platform Google Cloud Composer:关于语言和工作流的问题,google-cloud-platform,workflow,google-cloud-composer,Google Cloud Platform,Workflow,Google Cloud Composer,我即将写一篇关于GoogleCloudComposer的论文,我面临着一些不确定性 在Google Cloud Composer中,DAG是用python编写的。那么,这是否意味着我只能运行python函数,或者我还可以调用保存在google云中的java函数 如果我继续使用python,是否所有内容都必须在一个文件中?我想这是一个无关紧要的问题,但在GCC的所有示例中,所有内容都只包含在一个文件中。此外,这里似乎没有源代码文件夹: 最后,我正在寻找我可以使用的计算密集型python工作流。你能

我即将写一篇关于GoogleCloudComposer的论文,我面临着一些不确定性

在Google Cloud Composer中,DAG是用python编写的。那么,这是否意味着我只能运行python函数,或者我还可以调用保存在google云中的java函数

如果我继续使用python,是否所有内容都必须在一个文件中?我想这是一个无关紧要的问题,但在GCC的所有示例中,所有内容都只包含在一个文件中。此外,这里似乎没有源代码文件夹:


最后,我正在寻找我可以使用的计算密集型python工作流。你能推荐一个我可以找到scientific python工作流的网站吗?

谷歌的Cloud composer文档只使用python编写DAG

是的,您可以在Composer环境中找到DAG文件夹。该文件夹位于由该Composer实例创建的bucket中。如果要使用同一个Composer实例执行多个DAG,只需将python文件放在bucket中的DAGs文件夹中。Composer将自动运行该DAG

您可以使用各种操作符向dag文件添加功能,如添加
bashoperator
以添加java jar文件

所有内容都必须在一个文件中?:是的,DAG文件中定义了所有工作流ie任务。源代码存储在Airflow创建的GCS存储桶的DAG文件夹中。

请参阅本文档