Docker Compose-从气流计划(容器2)运行python脚本(容器1)
我注意到airflow发布了一些使用造纸机运行笔记本的功能:Docker Compose-从气流计划(容器2)运行python脚本(容器1),python,docker,docker-compose,airflow,Python,Docker,Docker Compose,Airflow,我注意到airflow发布了一些使用造纸机运行笔记本的功能: run_this = PapermillOperator( task_id="run_example_notebook", input_nb="/tmp/hello_world.ipynb", output_nb="/tmp/out-{{ execution_date }}.ipynb", parameters={"msgs": "Ran from Airflow at {{ execution_dat
run_this = PapermillOperator(
task_id="run_example_notebook",
input_nb="/tmp/hello_world.ipynb",
output_nb="/tmp/out-{{ execution_date }}.ipynb",
parameters={"msgs": "Ran from Airflow at {{ execution_date }}!"}
)
我试图使用气流(位于容器1上)运行一些使用anaconda env(位于容器2上)的笔记本电脑
我所做的:
1-创建一个airflow docker图像:
FROM puckel/docker-airflow:1.10.2
USER root
RUN groupadd --gid 999 docker \
&& usermod -aG docker airflow
USER airflow
2-创建一个miniconda映像,其中包含我要运行的所有笔记本:
FROM continuumio/miniconda
ENV EXECUTION_ID 111111
RUN conda install -y python=3.6.8 \
&& conda update conda
RUN conda install -y notebook ipykernel \
&& ipython kernel install --user
RUN pip install papermill
RUN mkdir notebook \
&& mkdir notebook/output
COPY code.ipynb ./notebook/code.ipynb
COPY params.yaml ./notebook/params.yaml
COPY run.sh ./notebook/run.sh
WORKDIR notebook
ENTRYPOINT ["bash", "./run.sh"]
3-创建docker撰写文件:
我用的是这个:
然而,我仍然不知道应该在docker compose中添加什么,以便在miniconda env和气流(位于两个不同的容器上)之间建立连接
你们建议做什么