Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/352.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python BigQuery架构更新而不丢失流缓冲区?_Python_Database Design_Google Cloud Platform_Google Bigquery - Fatal编程技术网

Python BigQuery架构更新而不丢失流缓冲区?

Python BigQuery架构更新而不丢失流缓冲区?,python,database-design,google-cloud-platform,google-bigquery,Python,Database Design,Google Cloud Platform,Google Bigquery,我们正在BigQuery表上进行流式插入 我们希望在不更改表名的情况下更新表的架构 例如,我们想删除一个列,因为它有敏感数据,但我们想保持所有其他数据和表名相同 我们的程序如下: 将原始表复制到临时表 删除原始表 使用原始表名和新架构创建新表 用旧表的数据填充新表 哭,因为最后90分钟的数据卡在流式缓冲区中,未传输。 如何避免最后一步?我相信新的流式API不再使用流式缓冲区。相反,它直接将数据写入目标表 要启用API,您必须注册: 您可以在以下内容中找到更多信息 我希望它能解决您的问题。您的流式

我们正在BigQuery表上进行流式插入

我们希望在不更改表名的情况下更新表的架构

例如,我们想删除一个列,因为它有敏感数据,但我们想保持所有其他数据和表名相同

我们的程序如下:

将原始表复制到临时表 删除原始表 使用原始表名和新架构创建新表 用旧表的数据填充新表 哭,因为最后90分钟的数据卡在流式缓冲区中,未传输。
如何避免最后一步?

我相信新的流式API不再使用流式缓冲区。相反,它直接将数据写入目标表

要启用API,您必须注册:

您可以在以下内容中找到更多信息
我希望它能解决您的问题。

您的流式数据是否已经符合新模式?谢谢!我没有看到任何关于不再使用流式缓冲区的提及。你知道你在哪里读到的吗?V2的其他功能似乎远远超出了我们的需要,我担心迁移到新服务的利弊。@ProGirlXOXO我从BigQuery团队那里得到了这些信息