Google bigquery 将数据插入Bigquery表的最佳方法

Google bigquery 将数据插入Bigquery表的最佳方法,google-bigquery,airflow,google-cloud-composer,Google Bigquery,Airflow,Google Cloud Composer,我想知道是否有更好的方法将数据插入bigquery表 我正在向Cloud Composer DAG末尾的BQ表插入新行。我使用了基于的自定义运算符,如下所示: INSERT INTO `<project>.<dataset>.<table> (col1,col2,col3) VALUES (ccc,ccc,ddd), (...,...,...) 插入到“。。(第1列、第2列、第3列) 价值观 (ccc、ccc、ddd), (...,...,...) 添加到

我想知道是否有更好的方法将数据插入bigquery表

我正在向Cloud Composer DAG末尾的BQ表插入新行。我使用了基于的自定义运算符,如下所示:

INSERT INTO `<project>.<dataset>.<table> (col1,col2,col3)
VALUES
(ccc,ccc,ddd),
(...,...,...)
插入到“。。(第1列、第2列、第3列)
价值观
(ccc、ccc、ddd),
(...,...,...)
添加到表中的值最多可以是500行(…,…,…),但通常约为10-100行


有没有推荐/更好的方法?我不知道是否值得通过GCS传递,因为包含所有行的“文件”不会太大。

请注意,
INSERT
与通过GCS加载作业(将是免费的)相比有成本(插入数据的大小)

传统上,
INSERT
不是一个选项,但现在它在这里是为了方便

如果成本可以忽略不计,而这是最方便的选择,那就去做吧