Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/spring/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 将protobuf数据加载到bigquery_Python_Google Bigquery_Protocol Buffers_Google Cloud Dataflow_Apache Beam - Fatal编程技术网

Python 将protobuf数据加载到bigquery

Python 将protobuf数据加载到bigquery,python,google-bigquery,protocol-buffers,google-cloud-dataflow,apache-beam,Python,Google Bigquery,Protocol Buffers,Google Cloud Dataflow,Apache Beam,我是protobuf数据的新手,我通过谷歌搜索从proto文件生成了python代码,现在我想将GCS中的protobuf数据加载到bigquery。我在谷歌上搜索了很多,想找到一种直接将protobuf数据加载到bigquery的方法 我经历了几次像下面这样的github回购 有谁能解释或指导我如何将protobuf数据加载到bigquery的简单示例。一种方法是运行代码将protobuf数据转换为bigquery知道如何读取的内容:JSON、Avro或拼花。 最简单的是JSON。 将JSO

我是protobuf数据的新手,我通过谷歌搜索从proto文件生成了python代码,现在我想将GCS中的protobuf数据加载到bigquery。我在谷歌上搜索了很多,想找到一种直接将protobuf数据加载到bigquery的方法

我经历了几次像下面这样的github回购


有谁能解释或指导我如何将protobuf数据加载到bigquery的简单示例。

一种方法是运行代码将protobuf数据转换为bigquery知道如何读取的内容:JSON、Avro或拼花。
最简单的是JSON。 将JSON格式的数据导出到GCS上的某个地方,然后让Bigquery加载JSON数据。最简单的方法是通过bq命令行工具,例如:
bq加载--忽略未知值--自动检测--源格式=换行符分隔符JSON datasetName.tableName gs://yourGCSpath
这将要求BQ从JSON数据派生表模式。如果要将已知模式加载到现有表中,可以提供JSON格式的模式文件作为参数

将数据加载到BQ是免费的,但有一些限制(例如每天每个表不超过1500次加载,每个加载作业不超过15TB,等等)


有关详细信息,请参阅文档。

一种方法是运行代码将protobuf数据转换为BigQuery知道如何读取的内容:JSON、Avro或拼花地板。
最简单的是JSON。 将JSON格式的数据导出到GCS上的某个地方,然后让Bigquery加载JSON数据。最简单的方法是通过bq命令行工具,例如:
bq加载--忽略未知值--自动检测--源格式=换行符分隔符JSON datasetName.tableName gs://yourGCSpath
这将要求BQ从JSON数据派生表模式。如果要将已知模式加载到现有表中,可以提供JSON格式的模式文件作为参数

将数据加载到BQ是免费的,但有一些限制(例如每天每个表不超过1500次加载,每个加载作业不超过15TB,等等)

有关详细信息,请参阅文档