如何在Perl Web爬虫中处理Javascript？

Question

我想抓取一个网站,问题是,它充满了JavaScript的东西,比如按钮等,当按下它们时,它们不会改变URL,但页面上的数据会发生变化.

通常我使用LWP/Mechanize等来抓取网站,但都不支持JavaScript.任何的想法？

Answer 1

该WWW ::的编剧模块有一个JavaScript的插件,可能是有用的.但不能说我自己用过它.

Answer 2

另一种选择可能是Selenium与WWW :: Selenium模块

Answer 3

WWW :: Mechanize :: Firefox可能会有用.这样你就可以让Firefox处理复杂的JavaScript问题,然后提取生成的html.