用于Python的无头浏览器(需要Javascript支持!)

Question

我需要一个相当容易使用的无头浏览器(我仍然是相当新的Python和一般的编程),这将允许我导航到一个页面,登录到需要Javascript的表单,然后通过以下方式刮擦生成的网页搜索符合特定条件的结果,单击复选框,然后单击以下载文件.所有这些都需要Javascript.

我听到无头浏览器是我想要的 - 需求/偏好是我能够从Python运行它,并且最好是生成的脚本可以通过py2exe编译(我正在为其他用户编写这个程序).

到目前为止风车看起来很像我想要的,但我不确定.

任何想法赞赏!

Answer 1

我通过pyqt/pyside使用webkit作为Python的无头浏览器:
http : //www.riverbankcomputing.co.uk/software/pyqt/download
http://developer.qt.nokia.com/wiki/Category:LanguageBindings :: PySide ::下载

我特别喜欢webkit,因为它很容易设置.对于Ubuntu,您只需使用:sudo apt-get install python-qt4

任何未来的访问者可能希望查看[Ghost.py](http://jeanphix.me/Ghost.py/),它为PyQt/PySide提供了一个很好的包装器. (18认同)

Answer 2

这个问题的答案是斯宾纳

Spynner的依赖Libxslt需要来自VS 2008的vcvarsall.bat,这在这里看到了相当严峻的考验:[link](http://stackoverflow.com/questions/3047542/building-lxml-for-python-2-7-on-windows/ 5122521#5122521)我们需要一个替代方案. (2认同)

Answer 3

我正在为Zombie.js编写一个Python驱动程序,"一个用于在模拟环境中测试客户端JavaScript代码的轻量级框架".

我目前处于停滞状态以解决Node.js中的错误(在我编写更多测试和更多代码之前),但随着它的进展,请随时关注我的项目:

Answer 4

目前还没有太多支持Javascript的无头浏览器.

你可以试试Zombie.js或Phantomjs.那些不是Python,而是普通的Javascript,那些真的可以完成这项工作.