asi*_*hal 11 mechanize scrapy web-scraping selenium-webdriver
我想从网站上抓一些数据.
基本上,该网站有一些表格显示,显示约50条记录.要获得更多记录,用户必须单击某个按钮进行ajax调用get并显示接下来的50条记录.
我以前有过Selenium webdriver(Python)的知识.我可以在Selenium中快速完成这项工作.但是,Selenium是一种更自动化的测试工具,它非常慢.
我做了一些研发,发现使用Scrapy或Mechanize,我也可以做同样的事情.
我应该为此选择Scrapy或Mechanize或Selenium吗？
我建议你使用Mechanize和ExecJS(https://github.com/sstephenson/execjs)的组合来执行你可能遇到的任何javascript请求.我已经将这两颗宝石结合使用了很长一段时间,它们做得很好.
您应该选择此而不是Selenium,因为与必须在无头浏览器中呈现整个页面相比,它会快得多.
| 归档时间： |
|
| 查看次数： |
6897 次 |
| 最近记录： |