在node.js中进行屏幕抓取的最优雅方法是什么？

Question

我正在将一个在node.js中使用大量屏幕抓取的Web应用程序混合在一起.我觉得我在每个角落都在与当前的战斗作斗争.必须有一种更简单的方法来做到这一点.最值得注意的是,有两件事令人恼火:

1. Cookie传播.我可以从响应头中提取'set-cookie'数组,但执行字符串操作来解析数组中的cookie感觉非常hackish.

2. 重定向以下.我希望每个请求在返回302状态代码时遵循重定向.

我遇到了两件看起来很有用的东西,但我最终无法使用:

• http://zombie.labnotes.org/,但它没有HTTPS支持,所以我不能使用它.

• http://www.phantomjs.org/,但无法使用它,因为它没有(似乎)与node.js集成.对于我正在做的事情,这也是非常重要的.

是否有任何JavaScript screenscraping-esque库传播cookie,遵循重定向并支持HTTPS？有关如何使这更容易的任何指针？

Answer 1

您可能想查看来自 mikeal 的https://github.com/mikeal/request，我刚刚在聊天室中与他交谈，他说它目前不处理 cookie，但您可以编写一个子模块来为您处理这些同时。

在重定向方面它处理得很好:)