Python Web Scraper-访问Web数据时出现问题[PHP错误]

我正试图从网站上刮取所有网站

我将使用而不是真正的领域只是为了简化我的问题

基本上，有一个大约30万个站点的列表，每个页面有30个结果，所以应该有大约10000个页面

这是一个例子：

->从1到30个站点

->30-60个站点

->60-90个站点

->从90到120的站点

问题是，当我到达第167页时，没有更多的结果显示出来。这样，我只能看到前5000个站点的列表

当我写这篇文章时：

我得到这个错误：PHP警告–yii\base\ErrorException

单击以查看完整错误

我能够用python创建一个脚本，它将抓取前5000个站点，但我不知道如何访问完整的列表

例如，可以在该页面上搜索某些关键字，但同样，如果搜索结果超过5000个，则只会显示前5000个站点

---

关于如何解决这个问题有什么想法吗？

不会显示超过167页的内容。你怎么知道目标网站实际上有307547条记录？可能是编出来的，不是编出来的。我对两个不同的关键词进行了两次搜索，例如“男人”和“女人”，每个关键词都有15k+的搜索结果。我为每个关键词搜索了前5k个站点，并对它们进行了比较，所有的站点都是唯一的。没有重复的。我确信实际上有307547条记录，但我不知道如何访问它。除非你找到这个网站似乎不使用的内部api，否则你可以尝试获得更多的结果。如果所有者为一个类别设置了5000个结果的结果限制，那么您将无法克服它。下次尝试在错误中添加更多代码时，您的答案是错误的。在/mnt/htdocs/myyii2/controllers/SiteController.php中发生异常，因为$res没有键名“matches”。可以在foreach解决您的问题之前添加if语句。请查看以下内容：