Google cloud platform 请求失败,代码为409数据流和goole大查询
我们从GBQ中读取数据,与其他数据源进行数据比较,并使用Google数据流进行计算。在数据流作业执行期间,我们发现以下错误,GBQ读取步骤不返回任何数据。当我们手动执行相同的查询时,它会在GBQWeb控制台中返回数据。我尝试了一些博客,但找不到任何解决方案。我使用的是2.15光束版本Google cloud platform 请求失败,代码为409数据流和goole大查询,google-cloud-platform,google-bigquery,google-cloud-dataflow,Google Cloud Platform,Google Bigquery,Google Cloud Dataflow,我们从GBQ中读取数据,与其他数据源进行数据比较,并使用Google数据流进行计算。在数据流作业执行期间,我们发现以下错误,GBQ读取步骤不返回任何数据。当我们手动执行相同的查询时,它会在GBQWeb控制台中返回数据。我尝试了一些博客,但找不到任何解决方案。我使用的是2.15光束版本 PCollection gbqDtoDetails=管道 .apply(“从gbq读取DTO”,BigQueryIO.readTableRows() .fromQuery(String.format(SQL\u查询
PCollection gbqDtoDetails=管道
.apply(“从gbq读取DTO”,BigQueryIO.readTableRows()
.fromQuery(String.format(SQL\u查询,Integer.parseInt(opts.getNbr()))
.withoutValidation().usingStandardSql())
.apply(“将表行映射到DTO”,ParDo.of(new tablerowtomapperfn()))
.setCoder(KvCoder
.of(StringUtf8Coder.of(),SerializableCoder.of(DTO.class));
读取upc loc price gbq/read(BigQueryQuerySource)线程25
你好,你能发布你的代码和配置吗?你好@cubez。-更新了描述中的代码段。看起来BigQuery 409意味着您正在尝试创建一个已经存在的资源(作业、数据集、表)。您是否可以再次检查您的配置是否使用唯一的名称@cubez-添加“withTemplateCompatibility”对我有帮助。作业运行时间已增加,但不再从GBQ中看到此错误。只需通过@Vali7394添加到上述注释中,如果您使用的是BigQueryIO,则这是正确的。这里是具体的部分:你好,你能发布你的代码和配置吗?你好@cubez。-更新了描述中的代码段。看起来BigQuery 409意味着您正在尝试创建一个已经存在的资源(作业、数据集、表)。您是否可以再次检查您的配置是否使用唯一的名称@cubez-添加“withTemplateCompatibility”对我有帮助。作业运行时间已增加,但不再从GBQ中看到此错误。只需通过@Vali7394添加到上述注释中,如果您使用的是BigQueryIO,则这是正确的。以下是具体章节:
PCollection<KV<String, DTO.class>> gbqDtoDetails = pipeline
.apply("read-DTO-from-gbq", BigQueryIO.readTableRows()
.fromQuery(String.format(SQL_QUERY, Integer.parseInt(opts.getNbr())))
.withoutValidation().usingStandardSql())
.apply("Map Table row to DTO", ParDo.of(new TableRowToDTOMapperFn()))
.setCoder(KvCoder
.of(StringUtf8Coder.of(), SerializableCoder.of(DTO.class)));