如何使用Docker或Docker compose将apache airflow和apache beam安装在一起?
我想使用Docker或Docker Compose一起安装apache airflow和apache beam。 我正在努力完成的是:目前,我已经开发了具有不同任务的apache airflow DAG,其中一项任务是我想要合并/集成apache beam数据管道。为了成功运行这个工作流,我需要安装apachebeam依赖项。例如:pip安装apachebeam和pip安装apachebeam[gcp] 目前,我正在为apache airflow使用Puckel Docker映像。我的偏好是: 1. 2. 我想用第一个链接作为它的官方形象。如果有人有puckel docker image的解决方案,请帮助我了解如何每次从存储库获取最新更改如何使用Docker或Docker compose将apache airflow和apache beam安装在一起?,docker,google-cloud-platform,docker-compose,airflow,apache-beam,Docker,Google Cloud Platform,Docker Compose,Airflow,Apache Beam,我想使用Docker或Docker Compose一起安装apache airflow和apache beam。 我正在努力完成的是:目前,我已经开发了具有不同任务的apache airflow DAG,其中一项任务是我想要合并/集成apache beam数据管道。为了成功运行这个工作流,我需要安装apachebeam依赖项。例如:pip安装apachebeam和pip安装apachebeam[gcp] 目前,我正在为apache airflow使用Puckel Docker映像。我的偏好是:
我是docker、apache airflow和apache beam的新手。我在慢慢地学习和成长。所以,非常感谢你的帮助。非常感谢!!!:) 您是否有需要帮助调试的部分,例如
Dockerfile
或docker compose.yml
文件的开头?您已经做了哪些工作?目前正在气流中努力引入,据我所知,应该很快完成。你可能想看看它,因为它可能会取代目前许多人使用的puckel图像。谢谢@DavidMaze的回复。事实上,我不想继续用Puckel docker的形象。我正在寻找一个正式的docker映像,我可以根据需要修改它,比如安装apache beam之类的软件包。感谢@szymonpzedwojski提供宝贵的反馈。@DavidMaze这里是docker-compose.yml文件内容。您是否有需要帮助调试的部分,例如Dockerfile
或docker compose.yml
文件的开头?您已经做了哪些工作?目前正在气流中努力引入,据我所知,应该很快完成。你可能想看看它,因为它可能会取代目前许多人使用的puckel图像。谢谢@DavidMaze的回复。事实上,我不想继续用Puckel docker的形象。我正在寻找一个正式的docker映像,我可以根据需要修改它,比如安装apache beam之类的软件包。感谢@szymonpzedwojski提供宝贵的反馈。@DavidMaze这里是docker-compose.yml文件内容。