用python生成的javascript生成的html

Question

我需要用python抓一个站点.我获得与urlib模块的源HTML代码,但我需要也刮由一个JavaScript功能(这是包含在HTML源)中产生一些HTML代码.这个功能在网站中的作用是当你按下一个按钮时输出一些HTML代码.如何用python代码"按下"这个按钮？scrapy可以帮助我吗？我用firebug捕获了POST请求,但是当我尝试在url上传递它时,我收到403错误.有什么建议？

Answer 1

在Python中,我认为Selenium 1.0是可行的方法.它是一个库,允许您从您选择的语言控制真正的Web浏览器.

您需要在运行脚本的计算机上安装有问题的Web浏览器,但它看起来是以编程方式查询使用大量JavaScript的网站的最可靠方式.

Answer 2

由于这里没有全面的答案,我会继续写一个.

要刮掉JS渲染的页面,我们需要一个带有JavaScript引擎的浏览器(ei,支持JavaScript渲染)

像Mechanize,url2lib这样的选项不起作用,因为它们不支持JavaScript.

所以这就是你做的:

设置PhantomJS与Selenium一起运行.在为这两者安装依赖项之后(请参阅此),您可以使用以下代码作为示例来获取完全呈现的网站.

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get('http://jokes.cc.com/')
soupFromJokesCC = BeautifulSoup(driver.page_source) #page_source fetches page after rendering is complete
driver.save_screenshot('screen.png') # save a screenshot to disk

driver.quit()