Google bigquery 有没有一种方法可以将大查询hyperloglog草图合并到大查询之外?

Google bigquery 有没有一种方法可以将大查询hyperloglog草图合并到大查询之外?,google-bigquery,Google Bigquery,我试图弄清楚是否有可能从大查询中导出hyperloglog草图,并在外部合并它们以进行基数估计。是否有一个开源库可以随时解析大型查询草图 如果没有,是否有任何关于biq查询的hyperloglog草图格式的公开信息?具体来说,使用哪种散列算法,包含什么类型的元数据,以及草图是如何构造的 HLL_COUNT函数系列的草图格式和散列细节目前尚未公开 您是否可以在上提交功能请求,并提供更多详细信息(例如,您希望与哪些工具/语言/库进行互操作以进行基数估计) 现在,您可以使用ZetaSketch()实现

我试图弄清楚是否有可能从大查询中导出hyperloglog草图,并在外部合并它们以进行基数估计。是否有一个开源库可以随时解析大型查询草图


如果没有,是否有任何关于biq查询的hyperloglog草图格式的公开信息?具体来说,使用哪种散列算法,包含什么类型的元数据,以及草图是如何构造的

HLL_COUNT函数系列的草图格式和散列细节目前尚未公开


您是否可以在上提交功能请求,并提供更多详细信息(例如,您希望与哪些工具/语言/库进行互操作以进行基数估计)

现在,您可以使用ZetaSketch()实现这一点,它包括一个与Google Cloud BigQuery实现兼容的HLL++算法实现。

任何不熟悉HYPERLOGLOG草图的人都应该阅读此文章以供参考。关于这个问题,目前有两个悬而未决的问题:目前的状态是,在Apache Beam中创建新的“BigQuery HLL++”草图正在开发中: