Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/google-sheets/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google sheets BigQueryGSheet上载_Google Sheets_Google Bigquery_Bigdata - Fatal编程技术网

Google sheets BigQueryGSheet上载

Google sheets BigQueryGSheet上载,google-sheets,google-bigquery,bigdata,Google Sheets,Google Bigquery,Bigdata,将GSheet连接到BigQuery很容易,也是一个非常酷的特性,但速度非常慢。似乎通过ETL过程等存储的数据实际上存储在BigQuery中,而G-Sheets只是“连接”起来的。是否有一种更有效地存储数据的方法,或者其他人是否也有同样的经验并了解解决方法 谷歌工作表的问题不仅在于速度慢,还在于编辑过程中潜在的人为因素。所以,只要有人来编辑(通过删除列:)-您的所有查询都将停止工作。 我们实施的理念: 在电子表格上创建联合表T1 周期性地(根据新鲜度的需要)将数据从T1转储到真正的bigquer

将GSheet连接到BigQuery很容易,也是一个非常酷的特性,但速度非常慢。似乎通过ETL过程等存储的数据实际上存储在BigQuery中,而G-Sheets只是“连接”起来的。是否有一种更有效地存储数据的方法,或者其他人是否也有同样的经验并了解解决方法

谷歌工作表的问题不仅在于速度慢,还在于编辑过程中潜在的人为因素。所以,只要有人来编辑(通过删除列:)-您的所有查询都将停止工作。 我们实施的理念:

  • 在电子表格上创建联合表T1
  • 周期性地(根据新鲜度的需要)将数据从T1转储到真正的bigquery表T2,并覆盖所有内容
  • 到处使用T2
  • 结果:您得到了快速查询(不涉及联邦对象)——如果有人破坏了电子表格——它不会从T1变为T2——您会知道问题所在,但同时所有查询都会继续工作,不会出现问题,不会出现最后已知的良好数据


    作为想法,您可以从电子表格上的修改事件启动加载-但我不会走这条路线-将涉及太多的活动部件,并且GScript的可靠性仍然不是很高

    Hi,感谢您的回复。对于RealBigQuery表,您的意思是使用电子表格模式创建空表,如下所示:??然后将数据转储到此表中?您注意到了更好的速度性能吗?所以我的基本问题是,如何创建“真正的大查询表”?我在上面的链接中发布的方法是否可行,或者我是否需要其他方法,如流式数据或从云存储加载数据等??在您定义联合表后-只需在UI中从[federated_table]中选择*并在某些数据集中设置目标表名(您需要单击“显示选项”访问此选项)-BigQuery将在此处复制模式和数据