Spring 只需谷歌'；s副本

我想创建简单的搜索引擎，如谷歌或必应。谷歌或必应从何处获取数据？我可以从何处获取数据

---

我将在Spring框架中创建它。

我不确定框架

但你需要的东西很少

所有活动域列表（选中此项）

您需要一个静态IP，并告诉网站关于使用代理名称——用户代理mybot

你一定很擅长curl/sed/awk/grep

例如，我正在使用我的bot，当我在数据库的索引中进行nmap/nslookup/fetching网站数据时，我只需告诉所有网站我是谁

不要使用像Google/Yahoo这样的用户代理，你会被很多服务器阻止

PS：我也是一个新人……但不知怎么的，我通过以上步骤完成了我的工作

---

有1.84-2.1亿个活动域。你需要一个功能强大的服务器。我在bash上制作了一个

欢迎使用Stack Overflow！仅供参考，搜索引擎使用爬虫。但是这个问题太广泛了，我建议你去看看