Fatal编程技术网
  • java/
  • 如何从Java应用程序将数据摄取到BigQuery

如何从Java应用程序将数据摄取到BigQuery

java google-bigquery

如何从Java应用程序将数据摄取到BigQuery,java,google-bigquery,data-ingestion,Java,Google Bigquery,Data Ingestion,我想从java应用程序将数据摄取到BigQuery。如果我们直接使用BigQueryAPI，是否存在性能问题？应用程序正在AWS中运行。如果性能是一个问题，您可以使用带有Java API的BigQuery流式插入[1,2]。[3] 概述了一些配额限制 [1] [2] [3] 我的实际使用案例是，每当我们收到新邮件时，我们都会运行电子邮件应用程序，我们会处理一些数据并存储到BQ。如果我们每次收到消息时都调用insertAll api，这意味着每次收到新消息时都需要调用insertAll，这样调用i

我想从java应用程序将数据摄取到BigQuery。如果我们直接使用BigQueryAPI，是否存在性能问题？应用程序正在AWS中运行。

如果性能是一个问题，您可以使用带有Java API的BigQuery流式插入[1,2]。[3] 概述了一些配额限制

[1]

[2]

[3]

我的实际使用案例是，每当我们收到新邮件时，我们都会运行电子邮件应用程序，我们会处理一些数据并存储到BQ。如果我们每次收到消息时都调用insertAll api，这意味着每次收到新消息时都需要调用insertAll，这样调用insertAll可以吗？