Web crawler 测试webcrawler的好网站

我正在测试一个新的webcrawler，我正在寻找一些好的网站，可能会让它出错（重定向，帧，任何东西）。有人知道一些非常复杂的网站吗，或者那些可能会搞糟它的网站吗？Thx

如果你在Alexa top 1000上测试它，你会得到一个非常有代表性的网站样本。您可能没有机会测试一些遗留协议（例如框架集等），但您会对性能有一个很好的了解，尤其是在重要的地方