如何使用Solr索引许多URL的登录页？

我有一个数千个网址的列表（源于书签）。我有一个需要能够搜索这些网址的登录页。我不需要网络爬虫功能，但我需要重复数据消除功能

我是solr的新手，尝试找出创建索引的最简单方法。我正在考虑使用SimplePostTool，它接受多个URL作为参数。但是，我很难理解如何使用此SimplePostTool进行重复数据消除

是否有其他方法来执行此索引？ 谢谢你的提示。

---

谢谢。

您要执行什么样的重复数据消除操作，即覆盖旧文档、放弃新文档等？只需覆盖…您只需将uniqueKey设置为架构文件中的url字段，solr就会自动覆盖文档OK。我是solr的新手，所以我尝试使用SimplePostTool，因为它不需要模式文件。现在，如果我需要以任何方式使用它，是否有任何用于我需要做的事情的示例模式文件；e:索引多个URL的登录页？感谢模式文件与post工具无关。如果在独立模式下使用solr，您将在core/collection目录中找到模式文件；如果在云模式下使用zookeeper，则在zookeeper实例中找到模式文件。请看这里：有关更多信息，您希望执行哪些重复数据消除操作，即覆盖旧文档、放弃新文档等？只需覆盖…您只需将uniqueKey设置为架构文件中的url字段，solr就会自动覆盖文档OK。我是solr的新手，所以我尝试使用SimplePostTool，因为它不需要模式文件。现在，如果我需要以任何方式使用它，是否有任何用于我需要做的事情的示例模式文件；e:索引多个URL的登录页？感谢模式文件与post工具无关。如果在独立模式下使用solr，您将在core/collection目录中找到模式文件；如果在云模式下使用zookeeper，则在zookeeper实例中找到模式文件。请看这里：了解更多信息