Google cloud platform 气流DAG不断重试，没有显示任何错误

我使用谷歌作曲家。我有一个dag，它使用panda.read_csv函数读取.csv.gz文件。DAG一直在尝试，没有显示任何错误。这是气流日志：

 *** Reading remote log from gs://us-central1-data-airflo-dxxxxx-bucket/logs/youtubetv_gcpbucket_to_bq_daily_v2_csv/file_transfer_gcp_to_bq/2018-11-04T20:00:00/1.log.
[2018-11-05 21:03:58,123] {cli.py:374} INFO - Running on host airflow-worker-77846bb966-vgrbz
[2018-11-05 21:03:58,239] {models.py:1196} INFO - Dependencies all met for <TaskInstance: youtubetv_gcpbucket_to_bq_daily_v2_csv.file_transfer_gcp_to_bq 2018-11-04 20:00:00 [queued]>
[2018-11-05 21:03:58,297] {models.py:1196} INFO - Dependencies all met for <TaskInstance: youtubetv_gcpbucket_to_bq_daily_v2_csv.file_transfer_gcp_to_bq 2018-11-04 20:00:00 [queued]>
[2018-11-05 21:03:58,298] {models.py:1406} INFO -
---------------------------------------------------------------------- 
---------
Starting attempt 1 of 
---------------------------------------------------------------------- 
---------

[2018-11-05 21:03:58,337] {models.py:1427} INFO - Executing <Task(BranchPythonOperator): file_transfer_gcp_to_bq> on 2018-11-04 20:00:00
[2018-11-05 21:03:58,338] {base_task_runner.py:115} INFO - Running: ['bash', '-c', u'airflow run youtubetv_gcpbucket_to_bq_daily_v2_csv file_transfer_gcp_to_bq 2018-11-04T20:00:00 --job_id 15096 --raw -sd DAGS_FOLDER/dags/testdags/youtubetv_gcp_to_bq_v2.py']

达格：

DAG已在我的本地版本上成功运行

def readCSV(checked_date,file_name, **kwargs): 
   subDir=checked_date.replace('-','/')
   fileobj = get_byte_fileobj(BQ_PROJECT_NAME, YOUTUBETV_BUCKET, subDir+"/"+file_name)
   df = pd.read_csv(fileobj, compression='gzip',memory_map=True)
   return df

测试了get_byte_fileobj，它作为一个独立的函数工作。

基于此讨论，这是一个已知的问题。 其中一个原因可能是因为在我的案例存储器中过度消耗了所有的作曲家资源

我最近有一个问题

就我而言，这是因为kubernetes的工人超负荷工作

您还可以在kubernetes仪表板上查看worker性能，查看您的案例是否存在集群过载问题

如果是，您可以尝试将气流配置celeryd_concurrency的值设置得更低，以减少辅助进程中的并行，并查看集群负载是否下降

---

尝试向文件中添加手动日志记录行。应该提供更多关于它执行到什么程度的信息。你能添加你的DAG文件并提供更多的日志信息吗？@MeghdeepRay不确定我该怎么做？因此，创建一个sep文件夹，以便登录google composer/您是否知道熊猫没有本地GCS支持。。。您是否正在尝试读取文件，如：gs://。。。？您是否尝试过使用映射的目录/home/afflow/gcs/data。。。如果这无助于编辑您的帖子，请在DAG模块中添加所有相关代码，等等on@VictorGGl是的，知道这一点，使用blob然后下载到文件中。它适用于不大的csv文件，比如说小于1G的文件

    file_transfer_gcp_to_bq = BranchPythonOperator(
    task_id='file_transfer_gcp_to_bq',
    provide_context=True,
    python_callable=readCSV,
    op_kwargs={'checked_date': '2018-11-03', 'file_name':'daily_events_xxxxx_partner_report.csv.gz'}
    )

def readCSV(checked_date,file_name, **kwargs): 
   subDir=checked_date.replace('-','/')
   fileobj = get_byte_fileobj(BQ_PROJECT_NAME, YOUTUBETV_BUCKET, subDir+"/"+file_name)
   df = pd.read_csv(fileobj, compression='gzip',memory_map=True)
   return df