Database 扫描和获取所有DNS条目的方法

我想做一个实验，我需要一个完整的数据库，里面有互联网上所有的DNS条目

扫描Internet并获取所有DNS条目是否可行？ 限制是什么：存储、时间还是网络带宽？ 有什么好的开始方法吗？

---

（我总是可以粗暴地扫描IP空间并进行反向DNS查找，但我想这不是一种有效的方法）

下载像Crime's或ARIN's这样的数据库将无法获得您想要的反向DNS条目。事实上，您只能使用自治系统和DNS服务器来解析这些范围。没有别的了。勾选这个：

反向DNS查询只能获得所有DNS条目的一小部分。事实上，没有人可以拥有它们，因为大多数域名不接受AXFR请求，而且在某些国家它可能被视为非法。要访问.com/.net/.org域名的完整列表，您可能是ICANN，也可能是ICANN经销商，但您永远不会获得其他不公开的TLD（几个国家）

然后，最好的方法是强制所有反向ip解析+成为像谷歌这样的互联网巨头，建立自己的公共DNS+尝试在你能检测到的每个域名上执行AXFR请求

混合所有这些选项是获得所有DNS条目中有意义部分的唯一方法，但绝不是100%，也可能不超过5%到10%。忘了粗暴地使用whois服务器来获取域名列表吧。这是他们的条款和条件所禁止的

我们现在正在大力推行反向ipv4解析，因为这是唯一合法的方式，而不是谷歌。我们两周前开始的

经过两周的挖掘，我们已经完成了20%的互联网。我们已经开发了一个python脚本，从几个不同的节点启动数千个线程并行扫描/24个范围

它比nmap-sL快得多，但是它不如nmap可靠，因此我们需要“第二次通过”来填补我们的空白（大约85%的IP在第一次尝试时得到解决）。必须定期重新扫描以获得完整一致的数据库

现在，我们有几个服务器在每个节点上以2mbps的DNS查询速度运行（每个节点上每秒300到4000次查询，主要取决于我们的服务器和远程DNS之间的RTT）

我们预计在大约30天内完成所有IPV4条目的首次通过

我们存储初步结果的文本文件平均每个“A类”范围（即111.0.0.0/8）有300万个条目。这些文件只是“IP\tname\n”，我们只存储解析的IP

我们需要在每台服务器上配置一个DNS，因为我们影响了提供商的DNS服务，它阻止了我们。事实上，我们在不同的DNS服务器上执行了一些基准测试。忘记Bind吧，它太重了，你很难每秒获得超过300个分辨率

完成扫描后，我们将发布一篇文章并共享数据库：）

在推特上关注我：@kaperuzito

---

我们已经得出的一个结论是，人们可能会对他们在DNS PTR条目中输入的名称三思而后行。您不能将IP命名为“工资单”、“ldap”、“内部网”、“测试”、“sql”、“VPN”等等。。。还有数以百万计的：（

可能是@GregHewgill的复制品，谢谢您的参考！