Apache kafka Kafka连接器的Presto查询优化

Apache kafka Kafka连接器的Presto查询优化,apache-kafka,presto,Apache Kafka,Presto,我有一个kafka主题,时间戳作为消息键,主题按年-月散列进行分区。当我尝试使用Presto查询卡夫卡时,似乎Presto将获得完整的消息集。我想知道普雷斯托的卡夫卡连接器是否会进行分区/偏移相关优化?e、 如果我按时间戳范围过滤数据,它将转到目标kafka分区,而不进行完全数据扫描。另一个使用案例是ETL作业,它每小时/天处理一次,是否可以Presto智能地定位这些数据束,例如继续进行最后的偏移量?如果按时间戳搜索,它应该为所有分区查找这些偏移量,但Presto没有分区和查找的感觉。没有,但它

我有一个kafka主题,时间戳作为消息键,主题按年-月散列进行分区。当我尝试使用Presto查询卡夫卡时,似乎Presto将获得完整的消息集。我想知道普雷斯托的卡夫卡连接器是否会进行分区/偏移相关优化?e、 如果我按时间戳范围过滤数据,它将转到目标kafka分区,而不进行完全数据扫描。另一个使用案例是ETL作业,它每小时/天处理一次,是否可以Presto智能地定位这些数据束,例如继续进行最后的偏移量?

如果按时间戳搜索,它应该为所有分区查找这些偏移量,但Presto没有分区和查找的感觉。没有,但它调用kafka consumer API,您确定吗?我在kafka connector for Presto的源代码中没有找到任何提示。嵌入在记录中的时间戳可以通过这些更改来查找。如果按时间戳搜索,它应该查找所有分区的偏移量,但Presto没有分区和查找的感觉。没有,但它调用kafka consumer API,您确定吗?我在kafka connector for Presto的源代码中没有找到任何提示。记录中嵌入的时间戳可以通过这些更改查找