无头浏览器和抓取 - 解决方案

Question

我正在尝试为浏览器自动测试套件和能够抓取的无头浏览器平台列出可能的解决方案列表.

---

浏览器测试/清除:

• Selenium - 浏览器自动化中的多语言旗舰,Python,Ruby,JavaScript,C#,Haskell等的绑定,用于Firefox的IDE(作为扩展),用于更快的测试部署.可以充当服务器并具有大量功能.

JAVASCRIPT

• PhantomJS - JavaScript,带有屏幕捕获和自动化的无头测试,使用Webkit.从版本1.8开始,实现了Selenium的WebDriver API,因此您可以使用任何WebDriver绑定,并且测试将与Selenium兼容
• SlimerJS - 与PhantomJS类似,使用Gecko(Firefox)代替WebKit
• CasperJS - 基于PhantomJS和SlimerJS构建的JavaScript具有额外的功能
• Ghost驱动程序 - 用于PhantomJS的WebDriver Wire协议的JavaScript实现.
• 新的 PhantomCSS - CSS回归测试.CasperJS模块,用于使用PhantomJS和 Resemble.js自动进行可视化回归测试.
• 新 WebdriverCSS -插件为 Webdriver.io自动化视觉回归测试
• 新的 PhantomFlow - 通过测试描述和可视化用户流.Web用户界面测试的实验方法.
• new trifleJS - 将PhantomJS API移植到使用Internet Explorer引擎.
• 新的 CasperJS IDE (商业)

Node.js的

• Node-phantom - 填补了PhantomJS和node.js之间的空白
• WebDriverJs - Selenium团队对node.js的Selenium WebDriver绑定
• WD.js - WebDriver/Selenium 2的节点模块
• yiewd - WD.js包装采用最新和谐发电机!用yield来摆脱回调金字塔
• ZombieJs - 使用node.js进行疯狂快速的无头全栈测试
• NightwatchJs - 使用Selenium Webdriver的基于节点JS的测试解决方案
• Chimera - Chimera:可以完成phantomJS所做的一切,但是在完整的JS环境中
• Dalek.js - 通过Selenium Webdriver使用JavaScript自动进行跨浏览器测试
• Webdriver.io - 使用预定义的50+动作更好地实现WebDriver绑定
• 梦魇 - 具有高级API的电子桥.
• jsdom - 针对网络抓取量身定制.在Node.js中实现的非常轻量级的DOM,它支持使用javascript的页面.

WEB SCRAPING/MINING

• Scrapy - Python,主要是一个刮刀/ 挖掘机 - 快速,文档齐全,可与Django Dynamic Sc​​raper链接,用于良好的挖掘部署,或Scrapy Cloud for PaaS(无服务器)部署,可在终端或服务器独立进程中使用,可与Celery一起使用,建立在Twisted之上
• Snailer - node.js模块,尚未经过测试.
• Node-Crawler - node.js模块,尚未测试.

在线工具

• 新的 在线HTTP客户端 - 专用的SO答案
• 死 CasperBox -在线运行 CasperJS脚本

---

相关链接和资源

• Webscraping软件的比较
• 新的 Resemble.js:图像分析和比较

问题:

• 任何纯粹的Node.js解决方案或Nodejs到PhanthomJS/CasperJS模块实际工作并记录？

答案:奇美拉似乎走向那个方向,结帐奇美拉

• 其他解决方案比Selenium更容易JavaScript注入？

• 你知道任何纯红宝石解决方案吗？

答:使用基于ruby的解决方案检查rjk创建的列表

• 你知道任何相关的技术或解决方案吗？

随意编辑此问题并根据需要添加内容!感谢您的贡献!

Answer 1

如果Ruby是你的东西,你也可以尝试:

• https://github.com/chriskite/anemone(开发停止)
• https://github.com/sparklemotion/mechanize
• https://github.com/postmodern/spidr
• https://github.com/stewartmckee/cobweb
• http://watirwebdriver.com/(Selenium)

此外,Nokogiri宝石可用于刮擦:

• http://nokogiri.org/

有一本专门的书,关于如何利用nokogiri通过packt出版进行刮痧

Answer 2

http://triflejs.org/就像是phantomjs但是基于IE

Answer 3

一种基于JS的Selenium是Dalek.js.它不仅针对自动前端测试,您还可以使用它进行屏幕截图.它有适用于所有重要浏览器的webdrivers.不幸的是,这些网络驱动程序似乎值得改进(只是不说Firefox的"buggy").