气流未从kubernetes persistentvolume拾取DAG
我试着跟随教程,但最后一部分对我不起作用。气流图上未显示DAG 我检查吊舱的日志。调度程序和工作程序分别如下所示 调度程序气流未从kubernetes persistentvolume拾取DAG,kubernetes,airflow,Kubernetes,Airflow,我试着跟随教程,但最后一部分对我不起作用。气流图上未显示DAG 我检查吊舱的日志。调度程序和工作程序分别如下所示 调度程序 *** executing Airflow initdb... DB: postgresql+psycopg2://postgres:***@airflow-postgresql:5432/airflow [2020-06-17 18:33:57,698] {db.py:378} INFO - Creating tables INFO [alembic.runtime.m
*** executing Airflow initdb...
DB: postgresql+psycopg2://postgres:***@airflow-postgresql:5432/airflow
[2020-06-17 18:33:57,698] {db.py:378} INFO - Creating tables
INFO [alembic.runtime.migration] Context impl PostgresqlImpl.
INFO [alembic.runtime.migration] Will assume transactional DDL.
Done.
*** adding Airflow variables...
0 of 0 variables successfully updated.
*** adding Airflow pools...
0 of 0 pool(s) successfully updated.
╒════════╤═════════╤═══════════════╕
│ Pool │ Slots │ Description │
╞════════╪═════════╪═══════════════╡
╘════════╧═════════╧═══════════════╛
*** running scheduler...
____________ _____________
____ |__( )_________ __/__ /________ __
____ /| |_ /__ ___/_ /_ __ /_ __ \_ | /| / /
___ ___ | / _ / _ __/ _ / / /_/ /_ |/ |/ /
_/_/ |_/_/ /_/ /_/ /_/ \____/____/|__/
[2020-06-17 18:34:12,477] {__init__.py:51} INFO - Using executor CeleryExecutor
[2020-06-17 18:34:12,485] {scheduler_job.py:1346} INFO - Starting the scheduler
[2020-06-17 18:34:12,485] {scheduler_job.py:1354} INFO - Running execute loop for -1 seconds
[2020-06-17 18:34:12,486] {scheduler_job.py:1355} INFO - Processing each file at most -1 times
[2020-06-17 18:34:12,486] {scheduler_job.py:1358} INFO - Searching for files in /opt/airflow/dags
[2020-06-17 18:34:12,486] {scheduler_job.py:1360} INFO - There are 0 files in /opt/airflow/dags
[2020-06-17 18:34:12,487] {scheduler_job.py:1411} INFO - Resetting orphaned tasks for active dag runs
[2020-06-17 18:34:12,503] {dag_processing.py:556} INFO - Launched DagFileProcessorManager with pid: 44
[2020-06-17 18:34:12,506] {settings.py:54} INFO - Configured default timezone <Timezone [UTC]>
*** running scheduler...
[2020-06-17 18:34:05,202] {cli_action_loggers.py:107} WARNING - Failed to log action with (psycopg2.OperationalError) could not translate host name "airflow-postgresql" to address: Name or service not known
(Background on this error at: http://sqlalche.me/e/e3q8)
[2020-06-17 18:34:07,170: INFO/MainProcess] Connected to redis://:**@airflow-redis-master:6379/1
[2020-06-17 18:34:07,218: INFO/MainProcess] mingle: searching for neighbors
[2020-06-17 18:34:08,344: INFO/MainProcess] mingle: all alone
[2020-06-17 18:34:08,385: INFO/MainProcess] celery@airflow-worker-0 ready.
Starting flask
* Serving Flask app "airflow.bin.cli" (lazy loading)
* Environment: production
WARNING: This is a development server. Do not use it in a production deployment.
Use a production WSGI server instead.
* Debug mode: off
[2020-06-17 18:34:09,179] {_internal.py:122} INFO - * Running on http://0.0.0.0:8793/ (Press CTRL+C to quit)
[2020-06-17 18:34:12,779: INFO/MainProcess] Events of group {task} enabled by remote.
我对气流和库伯内特是新手。这里怎么了。为什么不选择音量和DAG?我运行了您链接的教程,但找不到您遇到的问题。调度器的输出也不同。调度程序正在另一个目录中查找DAG。部署时是否更改了任何内容?你能告诉我你想把它放在哪里吗?它是
minikube
,kubeadm集群
,像GKE
或EKS
这样的托管解决方案吗?在本地,同时尝试了minikube和microk8s。现在使用microk8s。什么也没做,只是安装了microk8s、helm并运行了命令。您为dags目录设置了什么路径?这是您的绝对本地路径,对吗,以/dags结尾?另外,你能给我解释一下气流是如何沿着这条以体积形式给出的路径流动的吗?是的。你走的路是对的。它必须是以/dags
结尾的绝对路径。气流正在从头盔图表和aiffort.yaml
values文件中拾取它。我曾尝试使用microk8s
,但我遇到了与您相同的问题。您无法看到这些文件,因为头盔图表没有使用dag
到负责存储dag
的文件夹创建挂载点。回到我的第一条评论,我使用了docker desktop
,但没有发现这些问题。你看不到这些文件,因为舵手图表没有创建挂载点,而是指向负责存储DAG的文件夹。你怎么知道的?它记录在什么地方了吗?我运行了您链接的教程,但找不到您遇到的问题。调度器的输出也不同。调度程序正在另一个目录中查找DAG。部署时是否更改了任何内容?你能告诉我你想把它放在哪里吗?它是minikube
,kubeadm集群
,像GKE
或EKS
这样的托管解决方案吗?在本地,同时尝试了minikube和microk8s。现在使用microk8s。什么也没做,只是安装了microk8s、helm并运行了命令。您为dags目录设置了什么路径?这是您的绝对本地路径,对吗,以/dags结尾?另外,你能给我解释一下气流是如何沿着这条以体积形式给出的路径流动的吗?是的。你走的路是对的。它必须是以/dags
结尾的绝对路径。气流正在从头盔图表和aiffort.yaml
values文件中拾取它。我曾尝试使用microk8s
,但我遇到了与您相同的问题。您无法看到这些文件,因为头盔图表没有使用dag
到负责存储dag
的文件夹创建挂载点。回到我的第一条评论,我使用了docker desktop
,但没有发现这些问题。你看不到这些文件,因为舵手图表没有创建挂载点,而是指向负责存储DAG的文件夹。你怎么知道的?它记录在什么地方了吗?