在Perl中使用JavaScript支持的Web Crawler？

Question

我想编写一个perl应用程序,它会抓取一些网站并从这些网页收集图像和链接.因为大多数页面使用生成HTML内容的JavaScript,所以我需要使用JavaScript支持编码客户端浏览器,以便能够解析由JavaScript生成和/或修改的最终HTML代码.我有什么选择？

如果可能,请发布一些实现代码或链接到一些示例.

Answer 1

有几种选择.

• Windows上的Win32 :: IE :: Mechanize
• Mozilla的机械化::
• WWW ::机械化::火狐
• WWW ::硒
• 怀特

Answer 2

WWW ::脚本编写者与WWW ::脚本编写者::插件::的JavaScript和WWW ::脚本编写者::插件::阿贾克斯插件好像你会得到不使用实际的浏览器（模块最接近WWW ::硒，Mozilla的::Mechanize或Win32::IE::Mechanize使用真实浏览器）。

Answer 3

想到的选择:

• 您可以让Perl使用Selenium并拥有一个成熟的浏览器为您完成工作.

• 您可以下载并编译V8或其他开源JavaScript引擎,并让Perl调用外部程序来评估JavaScript.

• 我不认为Perl的LWP模块支持JavaScript,但如果你还没有这样做,你可能想检查一下.