如何在python中为HTML操作/抓取在HTML上运行jquery命令?

g19*_*tic 2 javascript python jquery dom web-scraping

让我们说我正在使用urllib2和cookiejar(就像这样)来获取网站的回复.现在我正在寻找一种简单的方法来使用jQuery来从Web服务器返回的响应中获取数据.

我知道还有其他模块可以在python中用于web-scraping(比如),但它可能只用jQuery命令吗?我假设我需要在python中使用某种js解析器?

我想要使​​用jQuery的原因是我有大约20个Greasemonkey脚本(大多数由其他人编写)对许多网站和网页游戏做了一些有趣的修改.他们使用jQuery完成所有DOM修改.我希望能够简单地将其移植到python(实现简单有效的自动化),而不是完全重构这些工作和可靠的大部分代码.

Luk*_*raf 5

pyquery非常适合这项任务.

它允许您在Py​​thon(X)HTML/XML上使用类似jQuery的选择器.

例如:

>>> from pyquery import PyQuery as pq
>>> d = pq("<html><p id="hello">Foo</p></html>")

>>> d("#hello")
[<p#hello.hello>]

>>> d('p:first')
[<p#hello.hello>]
Run Code Online (Sandbox Code Playgroud)

有关详细信息,请参阅完整的API文档,有关源和问题跟踪器的bitbucket上项目页面.