在数据库上执行Drools规则引擎以删除重复项

我的问题不是关于drools或规则引擎，但我有一个具体的用例，我计划使用规则引擎。我通读了所有的问题并在谷歌上搜索，但没有找到最合适的答案。下面是我的问题

我们有一个爬虫引擎，它以DB的形式输出数据。由于数据量巨大，我们经常会有较少的重复条目。目前，这些规则紧密地绑定在数据库表中，并使用复杂的查询。我曾想过有一个规则引擎，它将在桌面上运行，但我无法通过规则实现它。我遗漏了什么吗？或者我的理解是错误的

第一个问题是，使用规则引擎是正确的方法吗？ 第二，是否可以使用规则。我找不到一种在阵列上发射规则的方法。

---

问题可能很幼稚，但我仍然没有找到解决办法。

因为你所说的“口水”真的不适合。然而，取决于你想要达到的目标，你可能会发现它很有用。您可以使用规则引擎来防止插入重复项，而不是删除重复项。要实现这一点，您需要有一个包含现有记录集的有状态会话，并且您可以在Drools中编写自己的评估规则，将传入的条目标记为重复条目。执行后，您可以决定是否将此新条目作为副本保存或丢弃。你应该考虑的是：

你想在这项任务上投入那么多时间/精力吗？ 您真的需要一个规则引擎吗？例如，您是否希望验证逻辑经常更改？ Drools的性能会有什么问题吗？数据量或传入记录的频率可能超过Drools的能力

---

从数组中删除重复项不是使用规则引擎的地方。-而且我们经常会有较少的重复条目，这不是一个明确的说法。@laune:经过处理后，我们有少数记录的重复条目。明白了。这并没有改变我的观点：不需要规则引擎。将N个数组元素相互比较在^2上，规则引擎不会减少这一点。