Google cloud datastore 使用数据流查询名称空间'；s数据存储_Google Cloud Datastore_Google Cloud Dataflow

Google cloud datastore 使用数据流查询名称空间'；s数据存储

google-cloud-dataflow

Google cloud datastore 使用数据流查询名称空间'；s数据存储,google-cloud-datastore,google-cloud-dataflow,Google Cloud Datastore,Google Cloud Dataflow,在使用Dataflow的DatastoreIO时，是否可以查询特定命名空间中的实体？不幸的是，截至今天，否-由于用于并行读取查询结果的Datastore QuerySpliter API的限制，DatastoreIO不支持读取命名空间中的实体。我们正在对问题进行内部跟踪，您的反馈对于确定问题的优先级很有价值如果管道从数据存储中读取的实体数量足够小（或者处理的剩余部分足够繁重），顺序读取（但并行处理）就可以了，那么可以尝试中建议的解决方法您还可以使用BigQuery的查询功能或Dataflow

在使用Dataflow的DatastoreIO时，是否可以查询特定命名空间中的实体？

不幸的是，截至今天，否-由于用于并行读取查询结果的Datastore QuerySpliter API的限制，DatastoreIO不支持读取命名空间中的实体。我们正在对问题进行内部跟踪，您的反馈对于确定问题的优先级很有价值

如果管道从数据存储中读取的实体数量足够小（或者处理的剩余部分足够繁重），顺序读取（但并行处理）就可以了，那么可以尝试中建议的解决方法

您还可以使用BigQuery的查询功能或Dataflow的BigQueryIO连接器尝试在那里处理它——这些都没有并行性限制