ran*_*its 14 selenium mechanize webautomation web-scraping selenium-webdriver
我有兴趣自动化我经常访问的网站的某些形式的重复数据输入.到目前为止,我所查找的工具可以以无头的方式为此提供支持,可能是Selenium WebDriver和Mechanize.
我的问题是,使用一次与另一次是否有根本的技术差异？硒主要用于测试.我也注意到有些人用它来完成我正在寻找的东西,这就是自动化数据输入.在这种情况下,测试成为第二个好处.
有没有理由不使用Selenium来做我想做的机械化？这无关紧要,这两种工具都能奏效吗？
我不是问哪个更好,我问的是哪个是适合这项工作的工具.也许我不理解每个工具的目的背后的前提.
ale*_*cxe 35
这些是完全不同的工具,在网络抓取,Web自动化,自动数据提取范围内有些"交叉".
mechanize是一个成熟且广泛使用的程序化网页浏览工具,具有许多内置功能,如cookie处理,浏览器历史记录,表单提交.这里要理解的关键mechanize.Browser是不是真正的浏览器,它不能执行和理解javascript,它不能发送形成网页经常需要的异步请求.
这是selenium发挥作用的地方 - 它是一种浏览器自动化工具,也广泛用于网络抓取.selenium通常会变成一个"后备"工具 - 当有人不能用mechanize或RoboBrowser或MechanicalSoup(或注意 - 另一种选择)网站抓取网站,因为例如,它是javascript"沉重",通常是选择selenium.随着selenium你也可以去无头,自动PhantomJS浏览器,或者具有虚拟显示.作为一个常见的缺点,通常会提到性能 - selenium您正在使用目标站点作为Web浏览器中的真实用户,这将加载形成页面所需的其他文件,生成XHR请求,呈现等.
而这本身并不意味着你应该selenium随处使用- 明智地选择工具,选择它因为它更适合问题,而不是因为你更熟悉一种乐器.
另请注意,您应该首先考虑使用API(如果由目标网站提供),而不是使用Web抓取.而且,如果涉及到它,成为一个好的网络抓取公民:
| 归档时间： |
|
| 查看次数： |
10160 次 |
| 最近记录： |