Apache spark 从配置单元到Google存储/大查询的数据传输_Apache Spark_Google Bigquery_Google Cloud Platform_Google Cloud Storage_Google Cloud Dataflow

Apache spark 从配置单元到Google存储/大查询的数据传输

apache-spark google-bigquery google-cloud-platform google-cloud-storage google-cloud-dataflow

Apache spark 从配置单元到Google存储/大查询的数据传输,apache-spark,google-bigquery,google-cloud-platform,google-cloud-storage,google-cloud-dataflow,Apache Spark,Google Bigquery,Google Cloud Platform,Google Cloud Storage,Google Cloud Dataflow,我在本地hadoop集群中有一些配置单元表。我需要将这些表转移到google云中的BigQuery 你能为数据传输推荐任何谷歌工具或开源工具吗提前感谢BigQuery可以这意味着您可以执行类似于插入覆盖表目标\u avro\u配置单元\u表选择*源\u配置单元\u表的操作然后，您可以通过bq命令行工具或使用控制台UI将底层.avro文件加载到BigQuery中： bq load-source_format=AVRO your_dataset.something.AVRO我正在寻找一个框架

我在本地hadoop集群中有一些配置单元表。我需要将这些表转移到google云中的BigQuery

你能为数据传输推荐任何谷歌工具或开源工具吗

提前感谢

BigQuery可以

这意味着您可以执行类似于插入覆盖表目标\u avro\u配置单元\u表选择*源\u配置单元\u表的操作

然后，您可以通过bq命令行工具或使用控制台UI将底层.avro文件加载到BigQuery中：

bq load-source_format=AVRO your_dataset.something.AVRO

我正在寻找一个框架或数据管道来将数据从Hive表传输到BigQuery，比如SQoop。您可以使用Cloud Dataproc。请看这里的用例示例