Hive WSO2 BAM增量分析

Hive WSO2 BAM增量分析,hive,wso2,wso2bam,Hive,Wso2,Wso2bam,根据文档,这个功能是实验性的,但是我想知道是否有人成功地使用了它。我已经有了一些数据,所以我正在尝试用例4。 我尝试运行带有@Incremental annotation的更新配置单元查询,但没有任何内容进入我的RDB。 如果我删除它,一切都正常,但我想利用这一功能,因为存储的数据量很大,而且查询执行速度非常慢。 非常感谢您的任何建议或帮助。此功能被认为是实验性的,因为可能存在一些关键的错误。我们将在下一个版本中发布具有此功能的更稳定版本的BAM。增量分析功能将在部分分布式设置中正常工作,但它没

根据文档,这个功能是实验性的,但是我想知道是否有人成功地使用了它。我已经有了一些数据,所以我正在尝试用例4。
我尝试运行带有@Incremental annotation的更新配置单元查询,但没有任何内容进入我的RDB。
如果我删除它,一切都正常,但我想利用这一功能,因为存储的数据量很大,而且查询执行速度非常慢。

非常感谢您的任何建议或帮助。

此功能被认为是实验性的,因为可能存在一些关键的错误。我们将在下一个版本中发布具有此功能的更稳定版本的BAM。

增量分析功能将在部分分布式设置中正常工作,但它没有在外部hadoop集群中进行彻底测试,因此被标记为“experimenal”。不管怎样,如果你在上面发现任何bug,你可以在中报告

要回答您的问题,您需要首先为流启用增量处理,然后需要添加增量注释

1) 您需要在streams.properties as explained文件中添加属性“streams.definitions.defn1.enableIncrementalIndex=true”,并创建一个工具箱,其中仅包含所解释的流定义工件

2) 安装工具箱-这将使用增量分析注册工具箱中提到的流定义。在这一点上,将以增量方式处理传入的数据


3) 现在在查询中指示@Incremental注释。第一次迭代将考虑整个可用的数据,因为在处理过程中已经启用了增量分析,但是从下一次迭代开始,它只考虑新的一组数据。

是否在文档设置流中定义了对流的增量分析?