elasticsearch 因特网上的弹性搜索索引

这主要是一个弹性搜索的设计模式问题

如果我想用弹性搜索对互联网进行索引，组织这样的任务最有效的方法是什么

讨论了不同的模式，讨论了大规模集群的扩展，但在看了这些之后，我没有意识到如何组织互联网索引

我认为从逻辑上讲，您可以通过为每个域创建一个新索引来组织这样的工作。因此，您可以在Stackoverflow.com等索引上进行大量分片，但在momandpopsite.com等索引上可能只有一个分片

这对你的社区来说有效吗？我不确定，因为我们可以很快进入数百万个索引，更不用说它们各自的碎片了。现在我想知道，这种类型的设计是否会带来大量的开销，并且会变得臃肿。（也就是说，此模式的结构是否会产生过多的开销？）

我知道这个问题必须是理论性的，因为没有具体说明资源。但是，如果你能运用你的想象力，尝试纯粹地坚持一种设计策略——你会如何为万维网编制索引？假设有2.75亿个域名。使用弹性搜索为互联网建立索引的最有效的设计模式是什么？

每个域的索引（2.75亿个索引）是不可行的。索引确实有开销，而且我已经丢失了引用，但我认为在一个“普通”服务器上不需要超过100个索引

要将更多站点放入一个索引中，您可能需要引入路由和视图，但我可以想象，所有内容的单个索引也会引入不必要的开销。我猜，但是路由规则查找可能会变得非常大，等等。因此，您可能希望找到一些方法在索引之间拆分内容。在如此高的容量下，您无法在纸上设计所有内容，因此我建议PoC工作来确定不同大小索引的性能。然后，您将使用别名正确映射到基础索引

进一步阅读： 每20美元用户20美元/elasticsearch/i-G5NlP1VeY/PK9vVP0myAgJ

---

非常有趣@brent，谢谢。今晚晚些时候我会深入研究这些地点。