Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 谷歌云数据流作业尚不可用。。在气流中_Google Cloud Platform_Google Cloud Dataflow_Airflow_Dataflow_Airflow Scheduler - Fatal编程技术网

Google cloud platform 谷歌云数据流作业尚不可用。。在气流中

Google cloud platform 谷歌云数据流作业尚不可用。。在气流中,google-cloud-platform,google-cloud-dataflow,airflow,dataflow,airflow-scheduler,Google Cloud Platform,Google Cloud Dataflow,Airflow,Dataflow,Airflow Scheduler,我正在从Airflow运行数据流作业。我得说我是个新手。数据流(从Airflow运行)正在成功运行,但我可以看到Airflow在获取作业状态时遇到了一些问题,我收到了无限的消息,如: 谷歌云数据流作业尚不可用 以下是刚刚将所有步骤添加到数据流之后的日志(我将{projectID}和{jobID}放在原来的位置): 你知道这是什么原因吗?我找不到与此问题相关的任何解决方案。 我应该提供更多信息吗 以下是我在DAG中的任务: # dataflow task dataflow_t=DataFlowJa

我正在从Airflow运行数据流作业。我得说我是个新手。数据流(从Airflow运行)正在成功运行,但我可以看到Airflow在获取作业状态时遇到了一些问题,我收到了无限的消息,如:

谷歌云数据流作业尚不可用

以下是刚刚将所有步骤添加到数据流之后的日志(我将{projectID}和{jobID}放在原来的位置):

你知道这是什么原因吗?我找不到与此问题相关的任何解决方案。 我应该提供更多信息吗

以下是我在DAG中的任务:

# dataflow task
dataflow_t=DataFlowJavaOperator(
task_id='mydataflow',
jar='/lib/dataflow_test.jar',
gcp_conn_id='my_gcp_conn',
delegate_to='{service_account}@{projectID}.iam.gserviceaccount.com',
dag=dag)
和默认参数中连接到DAG中数据流的选项:

'dataflow_default_options': {
     'project': '{projectID}',
     'stagingLocation': 'gs://my-project/staging'
    }

我也面临同样的问题。我在DataflowPipelineOptions中创建了作业名称。 Airflow还根据您提供的任务id创建作业名称

So there is conflict and airflow is not able to find the actual job name which 
you created via DataflowPipelineOptions.

您只需从DataflowPipelineOptions中删除作业名称,它就会起作用。

是否在dataflow runner文件中创建作业名称?如果您可以共享dataflow run.py文件,那么调试就更容易了。比如:[options.setJobName(“mydataflow”);]我也应该在DAG中指定它吗?我添加了如何在issue中指定任务我面临相同的问题。我在DataflowPipelineOptions中创建了作业名称。Airflow还根据您提供的任务id创建作业名称。因此存在冲突,Airflow无法找到您通过DataflowPipelineOptions创建的实际作业名称。您只需从DataflowPipelineOptions中删除作业名称即可。我确实看到Airflow正在创建其作业名称,因为in命令是:--jobName=mydataflow-53afd323,但在GCP上(从DataflowPipelineOptions中删除作业名称后),我可以看到它的名称为“dataflowhelper-airflow-1004032710-72d76cab”,我是否应该在DAG中提供一些作业名称或作业名称?只需在tasks中传递task_id。我尝试过,但它仍然不起作用,还有其他建议吗?
So there is conflict and airflow is not able to find the actual job name which 
you created via DataflowPipelineOptions.