使用python读取动态生成的网页

Question

我正在尝试使用python和美丽的汤刮一个网站.我在某些网站遇到过,虽然在浏览器上看到的图片链接在源代码中无法看到.但是,在使用Chrome Inspect或Fiddler时,我们可以看到相应的代码.我在源代码中看到的是:

<div id="cntnt"></div>

但是在Chrome Inspect上,我可以看到在这个div类中生成的一大堆HTML\CSS代码.有没有办法在python中加载生成的内容？我在python中使用常规urllib,我可以获取源但没有生成的部分.

我不是网络开发者,因此我无法用更好的术语表达这种行为.如果我的问题看起来模糊,请随时澄清!

Answer 1

您需要JavaScript Engine来解析和运行页面内的JavaScript代码.有一堆无头浏览器可以帮助你

http://code.google.com/p/spynner/

http://phantomjs.org/

http://zombie.labnotes.org/

http://github.com/ryanpetrello/python-zombie

http://jeanphix.me/Ghost.py/

http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/

Answer 2

可以在通过javascript加载后生成网站的内容,为了通过python获取生成的脚本,请参阅此答案