将数据从HTTP请求API拉到Google云

我有一个从API向我发送数据的应用程序。数据是半结构化的（json数据）

我想把这些数据发送到Google Big Query，以便储存所有信息

然而，我无法找到如何才能正确地做到这一点

到目前为止，我已经在自己的服务器上使用NodeJS使用POST请求获取数据

---

你能帮帮我吗？Thnak.

您可以使用bigquery API进行流式插入

您还可以将数据写入PubSub或Google云存储，并使用数据流管道将其加载到bigquery（您可以使用流式插入（招致成本）或批量加载作业（免费））

您还可以登录stackdriver，然后从那里选择并发送到bigquery（GCP中已经存在直接选项，请注意，在引擎盖下，它执行流式插入）

如果您觉得设置数据流很复杂，可以直接调用BigQueryAPI来存储文件并执行批处理加载作业。请注意，对于一个特定表，您一天可以进行的批量加载数量有限制（每天1000次）

中有一个页面列出了将数据加载到BigQuery的所有可能性

为了简单起见，您可以从本地数据源发送数据。您应该使用Google云客户端库进行大查询。您有一个关于如何做到这一点的指南以及相关的代码示例

但我真诚的建议是从那里到那里，到。这样整个过程会更加稳定

您可以检查我发布的第一个链接中的所有选项，并选择您认为最适合您的工作流程的选项

---

请记住此过程的步骤。

查找执行流式插入的NodeJS库。