气流未从kubernetes persistentvolume拾取DAG

气流未从kubernetes persistentvolume拾取DAG,kubernetes,airflow,Kubernetes,Airflow,我试着跟随教程,但最后一部分对我不起作用。气流图上未显示DAG 我检查吊舱的日志。调度程序和工作程序分别如下所示 调度程序 *** executing Airflow initdb... DB: postgresql+psycopg2://postgres:***@airflow-postgresql:5432/airflow [2020-06-17 18:33:57,698] {db.py:378} INFO - Creating tables INFO [alembic.runtime.m

我试着跟随教程,但最后一部分对我不起作用。气流图上未显示DAG

我检查吊舱的日志。调度程序和工作程序分别如下所示

调度程序

*** executing Airflow initdb...
DB: postgresql+psycopg2://postgres:***@airflow-postgresql:5432/airflow
[2020-06-17 18:33:57,698] {db.py:378} INFO - Creating tables
INFO  [alembic.runtime.migration] Context impl PostgresqlImpl.
INFO  [alembic.runtime.migration] Will assume transactional DDL.
Done.
*** adding Airflow variables...
0 of 0 variables successfully updated.
*** adding Airflow pools...
0 of 0 pool(s) successfully updated.

╒════════╤═════════╤═══════════════╕
│ Pool   │ Slots   │ Description   │
╞════════╪═════════╪═══════════════╡
╘════════╧═════════╧═══════════════╛
*** running scheduler...
  ____________       _____________
 ____    |__( )_________  __/__  /________      __
____  /| |_  /__  ___/_  /_ __  /_  __ \_ | /| / /
___  ___ |  / _  /   _  __/ _  / / /_/ /_ |/ |/ /
 _/_/  |_/_/  /_/    /_/    /_/  \____/____/|__/
[2020-06-17 18:34:12,477] {__init__.py:51} INFO - Using executor CeleryExecutor
[2020-06-17 18:34:12,485] {scheduler_job.py:1346} INFO - Starting the scheduler
[2020-06-17 18:34:12,485] {scheduler_job.py:1354} INFO - Running execute loop for -1 seconds
[2020-06-17 18:34:12,486] {scheduler_job.py:1355} INFO - Processing each file at most -1 times
[2020-06-17 18:34:12,486] {scheduler_job.py:1358} INFO - Searching for files in /opt/airflow/dags
[2020-06-17 18:34:12,486] {scheduler_job.py:1360} INFO - There are 0 files in /opt/airflow/dags
[2020-06-17 18:34:12,487] {scheduler_job.py:1411} INFO - Resetting orphaned tasks for active dag runs
[2020-06-17 18:34:12,503] {dag_processing.py:556} INFO - Launched DagFileProcessorManager with pid: 44
[2020-06-17 18:34:12,506] {settings.py:54} INFO - Configured default timezone <Timezone [UTC]>
*** running scheduler...
[2020-06-17 18:34:05,202] {cli_action_loggers.py:107} WARNING - Failed to log action with (psycopg2.OperationalError) could not translate host name "airflow-postgresql" to address: Name or service not known

(Background on this error at: http://sqlalche.me/e/e3q8)
[2020-06-17 18:34:07,170: INFO/MainProcess] Connected to redis://:**@airflow-redis-master:6379/1
[2020-06-17 18:34:07,218: INFO/MainProcess] mingle: searching for neighbors
[2020-06-17 18:34:08,344: INFO/MainProcess] mingle: all alone
[2020-06-17 18:34:08,385: INFO/MainProcess] celery@airflow-worker-0 ready.
Starting flask
 * Serving Flask app "airflow.bin.cli" (lazy loading)
 * Environment: production
   WARNING: This is a development server. Do not use it in a production deployment.
   Use a production WSGI server instead.
 * Debug mode: off
[2020-06-17 18:34:09,179] {_internal.py:122} INFO -  * Running on http://0.0.0.0:8793/ (Press CTRL+C to quit)
[2020-06-17 18:34:12,779: INFO/MainProcess] Events of group {task} enabled by remote.

我对气流和库伯内特是新手。这里怎么了。为什么不选择音量和DAG?

我运行了您链接的教程,但找不到您遇到的问题。调度器的输出也不同。调度程序正在另一个目录中查找DAG。部署时是否更改了任何内容?你能告诉我你想把它放在哪里吗?它是
minikube
kubeadm集群
,像
GKE
EKS
这样的托管解决方案吗?在本地,同时尝试了minikube和microk8s。现在使用microk8s。什么也没做,只是安装了microk8s、helm并运行了命令。您为dags目录设置了什么路径?这是您的绝对本地路径,对吗,以/dags结尾?另外,你能给我解释一下气流是如何沿着这条以体积形式给出的路径流动的吗?是的。你走的路是对的。它必须是以
/dags
结尾的绝对路径。气流正在从头盔图表和
aiffort.yaml
values文件中拾取它。我曾尝试使用
microk8s
,但我遇到了与您相同的问题。您无法看到这些文件,因为头盔图表没有使用
dag
到负责存储
dag
的文件夹创建挂载点。回到我的第一条评论,我使用了
docker desktop
,但没有发现这些问题。你看不到这些文件,因为舵手图表没有创建挂载点,而是指向负责存储DAG的文件夹。你怎么知道的?它记录在什么地方了吗?我运行了您链接的教程,但找不到您遇到的问题。调度器的输出也不同。调度程序正在另一个目录中查找DAG。部署时是否更改了任何内容?你能告诉我你想把它放在哪里吗?它是
minikube
kubeadm集群
,像
GKE
EKS
这样的托管解决方案吗?在本地,同时尝试了minikube和microk8s。现在使用microk8s。什么也没做,只是安装了microk8s、helm并运行了命令。您为dags目录设置了什么路径?这是您的绝对本地路径,对吗,以/dags结尾?另外,你能给我解释一下气流是如何沿着这条以体积形式给出的路径流动的吗?是的。你走的路是对的。它必须是以
/dags
结尾的绝对路径。气流正在从头盔图表和
aiffort.yaml
values文件中拾取它。我曾尝试使用
microk8s
,但我遇到了与您相同的问题。您无法看到这些文件,因为头盔图表没有使用
dag
到负责存储
dag
的文件夹创建挂载点。回到我的第一条评论,我使用了
docker desktop
,但没有发现这些问题。你看不到这些文件,因为舵手图表没有创建挂载点,而是指向负责存储DAG的文件夹。你怎么知道的?它记录在什么地方了吗?