Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/369.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 在不使用数据流的情况下发布/订阅到Bigquery_Java_Google Bigquery_Publish Subscribe_Google Cloud Pubsub - Fatal编程技术网

Java 在不使用数据流的情况下发布/订阅到Bigquery

Java 在不使用数据流的情况下发布/订阅到Bigquery,java,google-bigquery,publish-subscribe,google-cloud-pubsub,Java,Google Bigquery,Publish Subscribe,Google Cloud Pubsub,我想使用pubsub将数据插入到bigquery表中。数据已被处理,因此我不需要数据流。 我该怎么做? 提前感谢云发布/订阅是一种队列服务,想象一下就像一个数据库 在Cloud Pub/Sub和Bigquery之间仍然需要一些东西来执行队列中等待的作业。为此,人们通常使用数据流,但您可以实现自己的worker来读取Pub/Sub和写入BigQuery。Pubsub存储消息,这些消息将由待处理的客户端读取。您可以修改应用程序以直接插入到BigQuery中,而不是使用Pubsub,因为消息中没有要处

我想使用pubsub将数据插入到bigquery表中。数据已被处理,因此我不需要数据流。 我该怎么做?
提前感谢

云发布/订阅是一种队列服务,想象一下就像一个数据库


在Cloud Pub/Sub和Bigquery之间仍然需要一些东西来执行队列中等待的作业。为此,人们通常使用数据流,但您可以实现自己的worker来读取Pub/Sub和写入BigQuery。

Pubsub存储消息,这些消息将由待处理的客户端读取。您可以修改应用程序以直接插入到BigQuery中,而不是使用Pubsub,因为消息中没有要处理的内容。包含用于流式加载的所有可用客户端的示例。用于批量检查

然而,如果你仍然需要转储你的消息,有一个测试版可以做到这一点。请注意,它是一个专门用于传输结构化数据的中间过程。基本上有两个要求:

  • Pubsub消息必须采用简单的JSON格式,例如{“k1”:“v1”、“k2”:“v2”}。然后,您的数据将插入到列k1和k2中
  • 在执行之前,该表应该存在于BigQuery中
检查模板的链接以获取完整的说明


希望这些信息能回答您的问题。

您能给我一个如何做到这一点的示例吗?这里介绍了一个数据流模板:另一方面,您可以始终使用首选编程语言的SDK进行读写,因为您需要了解如何在bigquery代码SDK中使用pub/sub