Web 搜索引擎如何在互联网上查找网站

我将编写一个Web解析器（在Web上从一个站点爬网到另一个站点的应用程序）。
如何在internet上找到可用域/IP列表（尽可能完整）？
搜索引擎如何查找网站（他们使用什么作为注册IP/域的可靠列表作为起点）

---

谢谢

正如Michael p的评论所指出的，这取决于你的目标是什么

我的公司最近想回答一个关于领先网站上使用的第三方工具的问题。我以查找顶级（按流量）网站为起点，创建了一个解析器，可以回答公司提出的特定问题。如果你从这样一个列表开始，你可以编程你的网络爬虫跟随它遇到的链接来扩展你对网站的知识

---

希望这能帮助您思考这个问题。

您对“web解析器”的定义是什么？我指的是在web上查找每个网站并为其创建和标识并保存该标识的应用程序