Google cloud dataflow 基于动态过滤器的bigtable批量更新

我正在寻找一种方法来扫描巨大的Google BigTable，并根据事件动态组合过滤器，对大量行进行批量更新/删除

目前，我正在尝试将BigTable与基于java的数据流结合起来，以增强无服务器计算能力。我已经到了可以使用基于事件的动态过滤器组合扫描对象的地步，但仍然找不到将结果从CloudBigtableIO.read流式传输到后续数据流管道的方法

感谢您的建议。

请从开始延长您的DoFn。这将允许您访问getConnection方法。您将执行以下操作：

try(Connection c = getConnection();
    Table t = c.getTable(YOUR_TABLE_NAME);
    ResultScanner resultScanner = t.getScanner(YOUR_SCAN)) {
  for(Result r : resultScanner) {
     Mutation m = ... // construct a Put or Delete
     context.output(m)
  }
}

我假设您的管道从CloudBigtableIO.read开始，接下来是abstractcloudbigtabledofn，然后是CloudBigtableIO.write