Google sheets BigQueryGSheet上载
将GSheet连接到BigQuery很容易,也是一个非常酷的特性,但速度非常慢。似乎通过ETL过程等存储的数据实际上存储在BigQuery中,而G-Sheets只是“连接”起来的。是否有一种更有效地存储数据的方法,或者其他人是否也有同样的经验并了解解决方法 谷歌工作表的问题不仅在于速度慢,还在于编辑过程中潜在的人为因素。所以,只要有人来编辑(通过删除列:)-您的所有查询都将停止工作。 我们实施的理念:Google sheets BigQueryGSheet上载,google-sheets,google-bigquery,bigdata,Google Sheets,Google Bigquery,Bigdata,将GSheet连接到BigQuery很容易,也是一个非常酷的特性,但速度非常慢。似乎通过ETL过程等存储的数据实际上存储在BigQuery中,而G-Sheets只是“连接”起来的。是否有一种更有效地存储数据的方法,或者其他人是否也有同样的经验并了解解决方法 谷歌工作表的问题不仅在于速度慢,还在于编辑过程中潜在的人为因素。所以,只要有人来编辑(通过删除列:)-您的所有查询都将停止工作。 我们实施的理念: 在电子表格上创建联合表T1 周期性地(根据新鲜度的需要)将数据从T1转储到真正的bigquer
作为想法,您可以从电子表格上的修改事件启动加载-但我不会走这条路线-将涉及太多的活动部件,并且GScript的可靠性仍然不是很高Hi,感谢您的回复。对于RealBigQuery表,您的意思是使用电子表格模式创建空表,如下所示:??然后将数据转储到此表中?您注意到了更好的速度性能吗?所以我的基本问题是,如何创建“真正的大查询表”?我在上面的链接中发布的方法是否可行,或者我是否需要其他方法,如流式数据或从云存储加载数据等??在您定义联合表后-只需在UI中从[federated_table]中选择*并在某些数据集中设置目标表名(您需要单击“显示选项”访问此选项)-BigQuery将在此处复制模式和数据