部署在Kubernetes中的apache airflow中的Kubernetes executor和private docker映像不起作用

部署在Kubernetes中的apache airflow中的Kubernetes executor和private docker映像不起作用,docker,kubernetes,airflow,Docker,Kubernetes,Airflow,我已经在azure kubernetes中部署了apache airflow apache airflow的Helm存储库: AKS版本:1.16.13 我正在使用git sync读取GitHub中的DAG,为此,我修改了values.yml文件: dags: 坚持不懈: #启用永久卷以存储DAG 已启用:false #DAG的体积大小 尺寸:1Gi #如果使用自定义storageClass,请在此处传递名称 storageClassName: #持久卷的访问模式 访问模式:ReadWriteM

我已经在azure kubernetes中部署了apache airflow

apache airflow的Helm存储库:

AKS版本:1.16.13

我正在使用git sync读取GitHub中的DAG,为此,我修改了values.yml文件:

dags:
坚持不懈:
#启用永久卷以存储DAG
已启用:false
#DAG的体积大小
尺寸:1Gi
#如果使用自定义storageClass,请在此处传递名称
storageClassName:
#持久卷的访问模式
访问模式:ReadWriteMany
##要使用的现有PVC的名称
现有索赔:~
gitSync:
已启用:true
#git repo克隆url
#ssh示例ssh://git@github.com/apache/afflow.git
# git@github.com:apache/afflow.git
#https示例:https://github.com/apache/airflow.git
回购:https://my_github_repository.git
分支机构:硕士
反面:头部
根:“/git”
目标:“回购”
部署气流后,我已使用此dag对其进行了测试:

来自气流导入DAG
从datetime导入datetime,timedelta
从afflow.contrib.operators.kubernetes\u pod\u operator导入KubernetesPodOperator
从airflow.operators.dummy_operator导入dummy operator
默认参数={
“所有者”:“气流”,
“依赖于过去”:False,
“开始日期”:datetime.utcnow(),
'电子邮件':['airflow@example.com'],
“失败时发送电子邮件”:False,
“重试时发送电子邮件”:False,
“重试”:1,
“重试延迟”:时间增量(分钟=5)
}
dag=dag(
“kubernetes_sample”,默认参数=默认参数,计划间隔=时间增量(分钟=10))
start=DummyOperator(任务id='run'this\u first',dag=dag)
passing=KubernetesPodOperator(namespace='default',
image=“python:3.8-slim-buster”,
cmds=[“python3”,“-c”],
arguments=[“print('hello world')”],
标签={“foo”:“bar”},
name=“通过测试”,
任务\u id=“正在传递任务”,
get_logs=True,
dag=dag
)
通过。设置_上游(启动)
它很好用。现在我想使用我自己的图像。为此,我使用azure容器,并遵循以下指南:,我使用此代码创建访问我的azure注册表的密码:

kubectl创建秘密docker注册表testquay\
--docker服务器=quay.io\
--docker用户名=\
--docker密码=
我建立我的形象,我在本地测试,它是工作。我将图像上载到azure容器注册表,并编写以下dag:

来自气流导入DAG
从datetime导入datetime,timedelta
从afflow.contrib.operators.kubernetes\u pod\u operator导入KubernetesPodOperator
从airflow.operators.dummy_operator导入dummy operator
从kubernetes.client导入模型为k8s
导入日志记录
导入操作系统
导入系统
导入回溯
尝试:
默认参数={
“所有者”:“气流”,
“依赖于过去”:False,
“开始日期”:datetime.utcnow(),
'电子邮件':['airflow@example.com'],
“失败时发送电子邮件”:False,
“重试时发送电子邮件”:False,
“重试”:1,
“重试延迟”:时间增量(分钟=5)
}
dag=dag(
'test1',default_args=default_args,schedule_interval=timedelta(分钟=10))
start=DummyOperator(任务id='run'this\u first',dag=dag)
quay_k8s=库伯内特光电倍增器(
namespace='default',
image='/testingairlfowdags:latest',
image_pull_secrets=[k8s.V1LocalObjectReference('azure-registry')],
name=“testingairlfowdags”,
删除运算符是否为真,
in_cluster=True,
任务\u id=“任务二”,
get_logs=True,
记录故障时的事件=真,
dag=dag
)
开始>>码头k8s
例外情况除外,如e:
错误消息={
“消息”:“出现内部错误”
,“错误”:str(e)
,“错误信息”:str(sys.exc_info())
,“traceback”:str(traceback.format_exc())
}
logging.info(错误消息)
但是当码头k8s任务开始时,一个吊舱被创建并突然死亡,我无法获得任何日志

当pod初始化时,Kubernetes仪表板向我显示:

但是:


您找到原因了吗?是的,image\u pull\u secrets='azure-registry'您找到原因了吗?是的,image\u pull\u secrets='azure-registry'