Airflow 从气流中的dag子文件夹导入文件
我正在编写一个python脚本来计算一些东西。这就是脚本与dags文件夹分离的原因。在该脚本中,我必须导入一个文件。但是我没有成功,因为它错误FileNotFoundError 这是我的目录:Airflow 从气流中的dag子文件夹导入文件,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我正在编写一个python脚本来计算一些东西。这就是脚本与dags文件夹分离的原因。在该脚本中,我必须导入一个文件。但是我没有成功,因为它错误FileNotFoundError 这是我的目录: dags/ - my_dag.py sub_folder/ - __init__.py - my_functions.py meta/ - file.csv my_functions.py包含DAG中所需的计算脚本。它必须读取meta文件夹中的.csv文件 在my_funct
dags/
- my_dag.py
sub_folder/
- __init__.py
- my_functions.py
meta/
- file.csv
my_functions.py包含DAG中所需的计算脚本。它必须读取meta文件夹中的.csv文件
在my_functions.py中,我写道:
file_df = pd.read_csv('meta/file.csv')
但是找不到该文件。使用
aiffiration\u HOME
env变量并提供完整路径
import os
AIRFLOW_HOME = os.getenv('AIRFLOW_HOME')
file_df = pd.read_csv(AIRFLOW_HOME + '/dags/sub_folder/meta/file.csv')
使用
aiffiration\u HOME
env变量并提供完整路径
import os
AIRFLOW_HOME = os.getenv('AIRFLOW_HOME')
file_df = pd.read_csv(AIRFLOW_HOME + '/dags/sub_folder/meta/file.csv')