Kubernetes:查看坠毁气流工作舱的日志

Kubernetes:查看坠毁气流工作舱的日志,kubernetes,airflow,Kubernetes,Airflow,k8s集群上的吊舱由Airflow的KuberneteSecutor调度,它在一个新的吊舱中运行所有任务 我有一个这样的任务,pod会在1秒或2秒后立即崩溃,当然我希望看到日志 这似乎很难。一旦pod崩溃,它就会被删除,并能够检索崩溃日志。我已经尝试了以下所有方法: kubectl日志-f-p:无法使用,因为这些豆荚的名称是唯一的 由Kubernetesecutor提供。 kubectl日志-l label\u name=label\u值:I 如果这是一种已知/常用的工作方式,我很乐意进一步尝试

k8s集群上的吊舱由Airflow的KuberneteSecutor调度,它在一个新的吊舱中运行所有任务

我有一个这样的任务,pod会在1秒或2秒后立即崩溃,当然我希望看到日志

这似乎很难。一旦pod崩溃,它就会被删除,并能够检索崩溃日志。我已经尝试了以下所有方法:

kubectl日志-f-p:无法使用,因为这些豆荚的名称是唯一的 由Kubernetesecutor提供。 kubectl日志-l label\u name=label\u值:I 如果这是一种已知/常用的工作方式,我很乐意进一步尝试 共享nfs安装在固定日志目录的所有POD上。但是,出现故障的pod不会登录到此文件夹。 当我非常快的时候,我运行kubectl logs-f-l dag\u id=sample\u dag-all containers dag\u idlabel由气流添加 在运行和崩溃之间,看到服务器错误BADDREQUEST:pod my_pod中的容器库正在等待启动:ContainerCreating。这可能会给我一些线索,但: 这些只是最后的日志行 这真是倒退
我基本上是在寻找从瞬态pod中检索日志的规范方法

您需要启用远程日志记录。下面的代码示例用于使用S3。在afflow.cfg中设置以下内容:

remote_logging = True
remote_log_conn_id = my_s3_conn
remote_base_log_folder = s3://airflow/logs

可以在气流>管理>连接中设置my_s3_连接。在“连接类型”下拉列表中,选择S3。

我也看到了相同的问题,我添加了S3连接,但无法将日志发送到S3,并且我也没有看到任何错误消息,您能告诉我您是如何解决此问题的吗?按照公认的答案操作对我来说很有效。。。此外,诸如Octant/Dashboard之类的UI为我提供了额外的线索,而我在使用普通kubectl时却错过了这些线索