如何使用python抓取javascript生成的html？

Question

我想刮掉javascript生成的html,就像你在Firebug中看到的一样.

更新:我发现这篇文章:http://blog.motane.lu/2009/07/07/downloading-a-pages-content-with-python-and-webkit/ 使用PyQt来解决问题适合我.

但另一个问题出现了:我必须首先登录网站,但我不知道如何在PyQt中模拟登录...... :(

Answer 1

看一下这篇文章,它描述了在浏览器执行Javascript后使用Windmill做刮页.

本文将展示如何在不使用HTML直接编写网页时使用相同的三个步骤提取所需信息,而是使用JavaScript自动生成以更新DOM树.

他们有一些例子,我相信你可以很容易地适应.