如何抓取所有wordpress页面

我想抓取所有wordpress的博客。有没有什么方法可以快速列出wordpress.com下的所有二级域名？比如说

如果我们能够获得所有辅助域地址的列表，那么对所有数据集进行爬网应该是简单而快速的

因此，我们可以通过dns查找一个网站的所有次要域名。2） 还是通过其他黑客技术

---

谢谢你回答这个问题

您可以在一些在线应用程序上使用google dorks轻松找到子域，这些应用程序可以进行实时搜索，如

---

同样，像

这样的在线爬虫可能是这个问题的重复——是的，但它是不同的。我们可以用其他方法来抓取所有的页面吗。DNS查找方法不起作用，因为网站的DNS禁用了子域的dig选项。我不知道这方面的知识，所以请不要解雇我，但是从Google搜索网站wordpress.com以编程方式编译结果是不可能的？对不起，我只是想知道如何解决这个问题。google api唯一的问题是每天只允许100次查询-（谷歌不再为诸如：wordpress.com之类的查询提供完整的结果。您可能会在上获得更完整的列表（您也可能违反了wordpress的TOS）。