Php 寻找蜘蛛爬我的网站数千次，以测试广告分布

非常直截了当。我们正在实施一个新的广告服务平台，最重要的是我们的广告发布是正确的

我已经提出了一些解决方案，但我想首先探讨的是一个蜘蛛，它会无数次地攻击我的网站，以确保此分发是正确的

---

任何建议都会很棒。

你是要检查一页还是多页

linux下的wget应该能够快速保存文件，保存次数可以根据需要而定。从这里，我将grep您要搜索的字符串（）的一部分，并显示一个计数。其中大部分可以通过shell脚本实现自动化，从而使其相当自动化

---

祝你好运

我会使用像maybe这样的基准工具。实际的链接检查出现在脑海中。您可以查看

ab

，这将有助于负载测试。但是，是否要在爬网页面时保存页面？你打算如何确保分发的内容是正确的？它是否遵循你网站内的链接？我有一个可以抓取一个网站，但你可能需要调整它一点，因为它目前只能处理非常小的网站。只使用列表来存储URL是非常非常基本的。目前，它在网站上搜索死链接。