Google bigquery 从通用ODBC数据库到BigQuery的数据移动
我会将外部数据库上的查询结果保存到Bigquery。 我正在使用pyodbc管理odbc连接 执行此类操作的最有效方式是什么Google bigquery 从通用ODBC数据库到BigQuery的数据移动,google-bigquery,pyodbc,Google Bigquery,Pyodbc,我会将外部数据库上的查询结果保存到Bigquery。 我正在使用pyodbc管理odbc连接 执行此类操作的最有效方式是什么 我是否应该在每个游标行中提取一个，然后插入到BigQuery中？结果是否包含大量数据 如果结果很小，则可以读取所有行并插入到BigQuery中。这样做的好处是，BigQuery查询可以立即获得结果。但是，对于较大的结果，流式插入可能比较昂贵（请参阅） 对于大型结果，我只需将结果保存到一个文件（通常为CSV），将其上载到GCP并运行加载作业。感谢您的建议，但是CSV创建可能
我是否应该在每个游标行中提取一个，然后插入到BigQuery中？结果是否包含大量数据 如果结果很小，则可以读取所有行并插入到BigQuery中。这样做的好处是，BigQuery查询可以立即获得结果。但是，对于较大的结果，流式插入可能比较昂贵（请参阅）
对于大型结果，我只需将结果保存到一个文件（通常为CSV），将其上载到GCP并运行加载作业。感谢您的建议，但是CSV创建可能非常缓慢（尽管上载）。我在想一些直接从pyodbc游标上传的方法。流插入是最佳（最快）解决方案吗？当然不便宜