Google cloud platform 加载大型csv'；直接进入大查询而不使用云存储？

我正在研究从远程服务器将CSV加载到大查询中，即使压缩，它们也将超过10MB。我的理解是，要将远程文件直接加载到大查询中，这将在技术上遵循“从本地文件加载数据”的过程，该过程在数据所在的远程服务器上通过脚本实现

---

根据big query文档，这限制为10MB/文件。我是否需要将文件加载到GCS，然后使用BQ数据传输服务执行此任务？将巨大的CSV分解成10MB的CSV是一种实用的选择吗？这需要具有可扩展性。

正确的方法是将文件上载到云存储中，然后从地面军事系统（而不是传输服务）执行传输

加载任务非常强大。它的速度非常快，您可以在同一时间在同一个表中导入一个或多个文件

---

这无疑是可扩展的最佳方式。

10 MB的限制适用于使用谷歌云控制台GUI加载文件。相反，使用CLI

bq load

而不是尝试拆分文件。