Google bigquery 使用python API与bq加载将数据加载到BigQuery

有了新的要求。在GCS中，bucket有大约130多个文件，这些文件需要每天加载到BigQuery的不同表中

经过研究，我找到了两个选择

1使用bq load命令加载Shell脚本/Python脚本 2创建一个Python API将数据加载到BigQuery

哪种选择最好。如果我使用pythonapi，我需要使用APPENGINE来调度它

除了这个，还有更好的选择吗

---

谢谢，

无论您如何操作，都将创建加载作业。因此，从BigQuery的角度来看，选择哪个选项并不重要

就日程安排而言，您在谷歌云平台上确实有一些选择：

. 请参阅，了解如何使用此功能通过发布/订阅可靠地调度任务。 计算引擎实例上操作系统的cron或systemd计时器。 A、使用。

---

有几点不同： BQ负载：

-使用特殊字符作为分隔符可能会出现一些问题，如^和|

-您不需要服务帐户，您可以使用用户帐户

-你不能在谷歌云功能上使用它

b API

-你没有什么特别的麻烦

-你可以在谷歌云功能上使用它

-如果您创建了一个python脚本，就可以在Windows上的预定任务上安排它