模拟Web浏览器

Question

我们的任务是基本上模拟浏览器来获取网页,希望在不同的网页上自动化测试.这将用于(理想情况下)在后台运行并生成报告的控制台应用程序.

我们与.NET和华廷库试图去,但它是建立在一个编组IE浏览器,因此它缺乏的是我们通过调用非托管的本机代码窃取了许多功能,但在这一天结束IE不是线程安全的,也不过程安全,许多所需的功能只能通过更改注册表值来实现,而且非常不灵活.

• 代理支持
• JavaScript支持 - 我们必须能够在任何javascript执行后解析实际的DOM(并且希望引发一个事件来处理任何ajax调用)
• 能够保存整个页面内容,包括图像从加载页面的CACHE到单独的位置
• 能够清除cookie /缓存,获取cookie /缓存等.
• 能够为任何浏览器调用设置标头和更改帖子数据
• 过程和/或线程安全是理想的
• 而对于drogs的爱,这个API并不是完全神秘的

语言可接受的C++,C#,Python,任何可以是一个简单的小背景应用程序,有点可忍受,并没有像Ruby这样的完全"非传统"语法.

根据我自己的研究,并相信我在谷歌搜索中很糟糕,我听说过WebKit的好东西...... Qt模块QtWebKit会处理所有这些功能吗？

Answer 1

您可以尝试以下其中一项：

http://code.google.com/p/spynner/

http://code.google.com/p/pywebkitgtk/