Python BigQuery架构更新而不丢失流缓冲区?
我们正在BigQuery表上进行流式插入 我们希望在不更改表名的情况下更新表的架构 例如,我们想删除一个列,因为它有敏感数据,但我们想保持所有其他数据和表名相同 我们的程序如下: 将原始表复制到临时表 删除原始表 使用原始表名和新架构创建新表 用旧表的数据填充新表 哭,因为最后90分钟的数据卡在流式缓冲区中,未传输。Python BigQuery架构更新而不丢失流缓冲区?,python,database-design,google-cloud-platform,google-bigquery,Python,Database Design,Google Cloud Platform,Google Bigquery,我们正在BigQuery表上进行流式插入 我们希望在不更改表名的情况下更新表的架构 例如,我们想删除一个列,因为它有敏感数据,但我们想保持所有其他数据和表名相同 我们的程序如下: 将原始表复制到临时表 删除原始表 使用原始表名和新架构创建新表 用旧表的数据填充新表 哭,因为最后90分钟的数据卡在流式缓冲区中,未传输。 如何避免最后一步?我相信新的流式API不再使用流式缓冲区。相反,它直接将数据写入目标表 要启用API,您必须注册: 您可以在以下内容中找到更多信息 我希望它能解决您的问题。您的流式
如何避免最后一步?我相信新的流式API不再使用流式缓冲区。相反,它直接将数据写入目标表 要启用API,您必须注册: 您可以在以下内容中找到更多信息
我希望它能解决您的问题。您的流式数据是否已经符合新模式?谢谢!我没有看到任何关于不再使用流式缓冲区的提及。你知道你在哪里读到的吗?V2的其他功能似乎远远超出了我们的需要,我担心迁移到新服务的利弊。@ProGirlXOXO我从BigQuery团队那里得到了这些信息