Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/docker/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用Docker或Docker compose将apache airflow和apache beam安装在一起?_Docker_Google Cloud Platform_Docker Compose_Airflow_Apache Beam - Fatal编程技术网

如何使用Docker或Docker compose将apache airflow和apache beam安装在一起?

如何使用Docker或Docker compose将apache airflow和apache beam安装在一起?,docker,google-cloud-platform,docker-compose,airflow,apache-beam,Docker,Google Cloud Platform,Docker Compose,Airflow,Apache Beam,我想使用Docker或Docker Compose一起安装apache airflow和apache beam。 我正在努力完成的是:目前,我已经开发了具有不同任务的apache airflow DAG,其中一项任务是我想要合并/集成apache beam数据管道。为了成功运行这个工作流,我需要安装apachebeam依赖项。例如:pip安装apachebeam和pip安装apachebeam[gcp] 目前,我正在为apache airflow使用Puckel Docker映像。我的偏好是:

我想使用Docker或Docker Compose一起安装apache airflow和apache beam。 我正在努力完成的是:目前,我已经开发了具有不同任务的apache airflow DAG,其中一项任务是我想要合并/集成apache beam数据管道。为了成功运行这个工作流,我需要安装apachebeam依赖项。例如:pip安装apachebeampip安装apachebeam[gcp]

目前,我正在为apache airflow使用Puckel Docker映像。我的偏好是: 1. 2.

我想用第一个链接作为它的官方形象。如果有人有puckel docker image的解决方案,请帮助我了解如何每次从存储库获取最新更改


我是docker、apache airflow和apache beam的新手。我在慢慢地学习和成长。所以,非常感谢你的帮助。非常感谢!!!:)

您是否有需要帮助调试的部分,例如
Dockerfile
docker compose.yml
文件的开头?您已经做了哪些工作?目前正在气流中努力引入,据我所知,应该很快完成。你可能想看看它,因为它可能会取代目前许多人使用的puckel图像。谢谢@DavidMaze的回复。事实上,我不想继续用Puckel docker的形象。我正在寻找一个正式的docker映像,我可以根据需要修改它,比如安装apache beam之类的软件包。感谢@szymonpzedwojski提供宝贵的反馈。@DavidMaze这里是docker-compose.yml文件内容。您是否有需要帮助调试的部分,例如
Dockerfile
docker compose.yml
文件的开头?您已经做了哪些工作?目前正在气流中努力引入,据我所知,应该很快完成。你可能想看看它,因为它可能会取代目前许多人使用的puckel图像。谢谢@DavidMaze的回复。事实上,我不想继续用Puckel docker的形象。我正在寻找一个正式的docker映像,我可以根据需要修改它,比如安装apache beam之类的软件包。感谢@szymonpzedwojski提供宝贵的反馈。@DavidMaze这里是docker-compose.yml文件内容。