使用MozRepl设置无头Firefox

Question

我想运行一个爬虫,可以在没有X服务器的环境中处理javascript创建的html.我知道我可以在xvfb下以无头状态运行Firefox,我知道如何在Firefox上安装MozRepl并使用WWW :: Mechanize与它进行交互,当我有实际的浏览器并可以下载和设置模块时.

我不知道该怎么办是在我没有X服务器的环境中在Firefox上设置MozRepl,以便我安装模块.任何帮助表示赞赏.

Answer 1

headless html+javascript 有很多选项（主要归功于 Chrome 浏览器中使用的 google 新玩具Node.js），具体取决于您要使用的语言，但不幸的是，我所知道的没有一个是基于 Firefox 的 - 有是撬棍，但自 2008 年以来似乎未更新。

由于 Firefox 已开始将 Gecko 与浏览器前端更紧密地集成，因此基于 Firefox 的此类软件已变得不太可行。

关于 Node.js，我对 Perl 产品了解不多，但以下是其他一些产品：

• 僵尸 (javascript)
• mink (PHP 5.3)（使用僵尸作为后端）

还有一些非节点选项：

• phantomjs (javascript)（使用 webkit 后端，可能需要安装 X）
• htmlunit （java）
• akephalos (ruby)（使用 htmlunit 后端）

我相信 Node.js 也有一个 Python 接口（尽管它是否实现了浏览器环境，我不知道），并且 Perl 空间中可能也有 Node 的工作正在进行。