测试webcrawler的好网站

Question

我正在测试一个新的webcrawler,我正在寻找一些可能会绊倒它的好网站(重定向,框架,任何东西).有人知道一些非常复杂的网站,或者那些可能会让它绊倒的网站吗？谢谢

Answer 1

如果您在 Alexa 前 1000 名左右进行测试，您将获得网站中发生的情况的相当有代表性的样本。您可能没有机会测试某些遗留协议（例如框架集等），但您会对性能有一个很好的了解，尤其是在重要的地方。