如何在python中将JavaScript HTML呈现为HTML？

Question

我环顾四周,只找到了呈现HTML的URL的解决方案.但是我需要一种能够将网页(我已经拥有,并且具有JavaScript)呈现为正确的HTML的方法.

想要:网页(使用JavaScript)---> HTML

不:URL - >网页(使用JavaScript)---> HTML

我无法弄清楚如何使其他代码按我想要的方式工作.

这是我使用的代码渲染URL:http: //webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/

为清楚起见,上面的代码采用了一个网页的URL,该网页包含了由JavaScript呈现的页面的某些部分,因此如果我使用say urllib2正常刮取页面,那么我将无法获得在JavaScript之后呈现的所有链接等.

但是我希望能够抓取一个页面,再次使用urllib2,然后渲染该页面并获得结果HTML.(与上面的代码不同,因为它需要一个URL作为它的参数.

任何帮助表示赞赏,谢谢你们:)

Answer 1

您可以pip install selenium从命令行,然后运行以下内容:

from selenium import webdriver
from urllib2 import urlopen

url = 'http://www.google.com'
file_name = 'C:/Users/Desktop/test.txt'

conn = urlopen(url)
data = conn.read()
conn.close()

file = open(file_name,'wt')
file.write(data)
file.close()

browser = webdriver.Firefox()
browser.get('file:///'+file_name)
html = browser.page_source
browser.quit()