Google bigquery 从数据流中流式传输时从BigQuery中删除数据_Google Bigquery_Google Cloud Dataflow_Apache Beam_Google Cloud Pubsub

Google bigquery 从数据流中流式传输时从BigQuery中删除数据

google-bigquery google-cloud-dataflow

Google bigquery 从数据流中流式传输时从BigQuery中删除数据,google-bigquery,google-cloud-dataflow,apache-beam,google-cloud-pubsub,Google Bigquery,Google Cloud Dataflow,Apache Beam,Google Cloud Pubsub,从ApacheBeam管道向BigQuery表加载数据时，是否可以从BigQuery表中删除数据我们的用例是这样的，我们需要根据时间戳字段（数据流从Pubsub主题提取消息的时间）从表中删除3天前的数据建议这样做吗？如果是的话，有没有办法做到这一点谢谢。我认为将您的表设置为分区（基于摄取时间）表是最好的方法您可以手动删除旧分区 bq rm 'mydataset.mytable$20160301' 您还可以设置过期时间 bq update --time_partitioning_expi

从ApacheBeam管道向BigQuery表加载数据时，是否可以从BigQuery表中删除数据

我们的用例是这样的，我们需要根据时间戳字段（数据流从Pubsub主题提取消息的时间）从表中删除3天前的数据

建议这样做吗？如果是的话，有没有办法做到这一点

谢谢。

我认为将您的表设置为分区（基于摄取时间）表是最好的方法您可以手动删除旧分区

bq rm 'mydataset.mytable$20160301'

您还可以设置过期时间

bq update --time_partitioning_expiration [INTEGER] [PROJECT_ID]:[DATASET].[TABLE]

如果摄入时间对你不起作用，你可以研究一下——但它是测试版的——工作可靠，但这是你的决定