Java apachebeam和BigQuery
我正在尝试执行ApacheBeamSDK2.4和库com.google.cloud.bigquery,但有一个例外Java apachebeam和BigQuery,java,google-bigquery,apache-beam,Java,Google Bigquery,Apache Beam,我正在尝试执行ApacheBeamSDK2.4和库com.google.cloud.bigquery,但有一个例外 Exception in thread main java.lang.NoSuchMethodError com.google.api.client.googleapis.services.json.AbstractGoogleJsonClient$Builder.setBatchPath(LjavalangString;)Lcomgoogleapiclientgoogleapis
Exception in thread main java.lang.NoSuchMethodError com.google.api.client.googleapis.services.json.AbstractGoogleJsonClient$Builder.setBatchPath(LjavalangString;)LcomgoogleapiclientgoogleapisservicesAbstractGoogleClient$Builder;
at com.google.api.services.bigquery.Bigquery$Builder.setBatchPath(Bigquery.java3519)
import com.google.cloud.bigquery.*;
<dependency>
<groupId>com.google.cloud.dataflow</groupId>
<artifactId>google-cloud-dataflow-java-sdk-all</artifactId>
<version>[2.4.0, 2.99)</version>
</dependency>
<!-- slf4j API frontend binding with JUL backend -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<versi
on>1.7.14</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-jdk14</artifactId>
<version>1.7.14</version>
</dependency>
<dependency>
<groupId>com.google.cloud</groupId>
<artifactId>google-cloud-bigquery</artifactId>
<version>1.35.0</version>
</dependency>
</dependencies>
如果我使用库om.google.api.services.bigquery。代码
示例成功运行
它在内部使用什么库
我应该使用什么图书馆?com.google.api.services.bigquery还是com.google.cloud.bigquery
梁2.4使用v2-rev374-1.22.0。这也是应与Beam 2.4一起使用的库。com.google.api.services.bigquery库已过时,需要升级。不幸的是,Beam中的其他组件依赖于与com.google.cloud.bigquery不兼容的库,这些库需要升级才能使用新库
如果您还没有这样做,您应该看看,它为Beam的常见BigQuery操作提供了包装。Beam 2.4正在使用v2-rev374-1.22.0。这也是应与Beam 2.4一起使用的库。com.google.api.services.bigquery库已过时,需要升级。不幸的是,Beam中的其他组件依赖于与com.google.cloud.bigquery不兼容的库,这些库需要升级才能使用新库
如果您还没有这样做,那么应该看看,它为Beam的常见BigQuery操作提供了一个包装器。我没有找到如何从指定的数据集获取表。我想使用数据流将表从数据集US迁移到数据集位置EU。我想获得dataset US并行过程中的所有表,并在dataset EU中编写这些表。我在dataset EU中找不到exist表的方法get scheme。你能帮我吗?请为第二个问题提出一个新问题,这是你为了社区的利益想讨论的问题。我找不到如何从指定的数据集获取表。我想使用数据流将表从数据集US迁移到数据集位置EU。我想获得dataset US并行过程中的所有表,并在dataset EU中编写这些表。我在dataset EU中找不到exist表的方法get scheme。你能帮我个忙吗?请为你想讨论的第二个问题提出一个新问题,以造福社区。
the code example apache beam 2.4 using
import com.google.api.services.bigquery.model.TableFieldSchema;
import com.google.api.services.bigquery.model.TableRow;
import com.google.api.services.bigquery.model.TableSchema;