Mapreduce 使用hive解决我的任务

所以我有一个任务，在表中插入一条新记录

然后，我在同一个表中查询所有历史记录

并将所有这些历史记录与新记录进行比较，并将匹配项存储在不同的表中。 现在有一个问题，当有大量的数据时，它会变得不成比例。 而且每一次新的计算都需要更多的时间

我无法缓存历史记录，因为它们可能在一段时间后过期并过时

比较任务相当复杂，因此需要在java代码中进行比较。 我不想写一个地图减少工作来做这件事

---

是否有一种方法可以使用hive来完成我的任务

我目前有一个多线程java应用程序来完成所有这些任务。但它的性能受到了冲击。所以我想把这个比较逻辑从java代码中分离出来，编写一个mapreduce程序来处理它。我想检查我的代码中是否只能对mapreduce部分使用hive？我觉得您可以使用hive，为了获得更好的答案，请详细说明您的问题。如果您可以用SQL表达比较标准，您肯定会从hive中受益。否则，配置单元接口将不会比常规的Map/Reduce作业提供任何优势。