Google bigquery 如何预处理来自Stackdriver的BigQuery数据

我目前正在使用接收器将日志从Stackdriver导出到BigQuery。但我只对jsonPayload感兴趣。我想忽略几乎所有其他的事情。 但是由于表的创建和数据插入是自动进行的，所以我不能这样做。 是否有一种方法可以预处理来自接收器的数据，只存储重要的内容？

---

如果答案是否定的，是否有办法每天运行cron作业，将昨天的数据复制到单独的表中，然后将其删除？（知道这些表是使用时间戳命名的，这使得可以按天查询它们）

据我所知，这两个选项目前在GCP平台上都不可能实现。在我这方面，我还尝试创建您请求的内部复制，并注意到没有一种方法可以单独过滤jsonPayload

---

因此，我建议针对您在以下公共问题跟踪程序上提出的问题创建一个功能请求。请注意，功能请求没有关于何时处理或是否实现的ETA。

否，您无法使用Stackdriver sinks to BigQuery控制模式。一种策略是在原始数据之上使用视图，只显示您感兴趣的列/数据。这符合你的要求吗？或者，您只是想扔掉您不感兴趣的数据以节省存储成本吗？谢谢您的回复。我已经在使用视图了，但我希望删除我不需要的数据。有什么办法吗？你只是想在存储上节省一些钱吗？这就是我试图解决的问题存储成本可以忽略不计，即便宜。我认为思考这个问题和构建一些东西所需的时间将比存储它花费更多，更不用说构建解决方案所需的查询和DML：）如果您真的想摆脱它们，然后，每X小时/天运行一次计划查询，从原始数据中读取所需的列并将其写入新表。然后使用DML语句从原始表中删除内容。请参阅我对OP问题的上述评论：）@GrahamPolley如果您可以将上述评论添加到此帖子中作为答案，是否可行？这是为了帮助社区，以防将来再次出现此类问题。