Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 请求失败,代码为409数据流和goole大查询_Google Cloud Platform_Google Bigquery_Google Cloud Dataflow - Fatal编程技术网

Google cloud platform 请求失败,代码为409数据流和goole大查询

Google cloud platform 请求失败,代码为409数据流和goole大查询,google-cloud-platform,google-bigquery,google-cloud-dataflow,Google Cloud Platform,Google Bigquery,Google Cloud Dataflow,我们从GBQ中读取数据,与其他数据源进行数据比较,并使用Google数据流进行计算。在数据流作业执行期间,我们发现以下错误,GBQ读取步骤不返回任何数据。当我们手动执行相同的查询时,它会在GBQWeb控制台中返回数据。我尝试了一些博客,但找不到任何解决方案。我使用的是2.15光束版本 PCollection gbqDtoDetails=管道 .apply(“从gbq读取DTO”,BigQueryIO.readTableRows() .fromQuery(String.format(SQL\u查询

我们从GBQ中读取数据,与其他数据源进行数据比较,并使用Google数据流进行计算。在数据流作业执行期间,我们发现以下错误,GBQ读取步骤不返回任何数据。当我们手动执行相同的查询时,它会在GBQWeb控制台中返回数据。我尝试了一些博客,但找不到任何解决方案。我使用的是2.15光束版本

PCollection gbqDtoDetails=管道
.apply(“从gbq读取DTO”,BigQueryIO.readTableRows()
.fromQuery(String.format(SQL\u查询,Integer.parseInt(opts.getNbr()))
.withoutValidation().usingStandardSql())
.apply(“将表行映射到DTO”,ParDo.of(new tablerowtomapperfn()))
.setCoder(KvCoder
.of(StringUtf8Coder.of(),SerializableCoder.of(DTO.class));
  • ApacheBeam版本-2.15

  • 数据流日志中出现错误 2020-07-30(17:08:02)请求失败,代码为409,由于IOExceptions执行了0次重试,由于IOExceptions执行了0次重试 联合国……请求 失败,代码为409,由于IOExceptions执行了0次重试, 由于状态代码不成功,执行了0次重试,HTTP框架 表示可以重试请求(负责重试的调用方): . 时间戳2020-07-30T21:08:02.240Z 记录器org.apache.beam.sdk.extensions.gcp.util.RetryHttpRequestInitializer 严重性警告工作步骤
    读取upc loc price gbq/read(BigQueryQuerySource)线程25


  • 你好,你能发布你的代码和配置吗?你好@cubez。-更新了描述中的代码段。看起来BigQuery 409意味着您正在尝试创建一个已经存在的资源(作业、数据集、表)。您是否可以再次检查您的配置是否使用唯一的名称@cubez-添加“withTemplateCompatibility”对我有帮助。作业运行时间已增加,但不再从GBQ中看到此错误。只需通过@Vali7394添加到上述注释中,如果您使用的是BigQueryIO,则这是正确的。这里是具体的部分:你好,你能发布你的代码和配置吗?你好@cubez。-更新了描述中的代码段。看起来BigQuery 409意味着您正在尝试创建一个已经存在的资源(作业、数据集、表)。您是否可以再次检查您的配置是否使用唯一的名称@cubez-添加“withTemplateCompatibility”对我有帮助。作业运行时间已增加,但不再从GBQ中看到此错误。只需通过@Vali7394添加到上述注释中,如果您使用的是BigQueryIO,则这是正确的。以下是具体章节:
    PCollection<KV<String, DTO.class>> gbqDtoDetails = pipeline
            .apply("read-DTO-from-gbq", BigQueryIO.readTableRows()
            .fromQuery(String.format(SQL_QUERY, Integer.parseInt(opts.getNbr())))
                .withoutValidation().usingStandardSql())
            .apply("Map Table row to DTO", ParDo.of(new TableRowToDTOMapperFn()))
            .setCoder(KvCoder
                .of(StringUtf8Coder.of(), SerializableCoder.of(DTO.class)));