创建一个http代理,可以在将http响应发送到客户端之前修改它

Question

我正在wget尝试从网上抓一些东西,但我不想跟随页面的一部分.我以为我可以设置一个代理,删除我不想处理的网页部分,然后再将其返回给wget,但我不确定如何实现这一点.

是否有代理可以让我轻松修改python或node.js中的http响应？

Answer 1

有几种方法可以实现这一目标.这应该让你开始(使用node.js).在以下示例中,我将获取google.com并将所有"google"实例替换为"foobar".

// package.json file...
{
  "name": "proxy-example",
  "description": "a simple example of modifying response using a proxy",
  "version": "0.0.1",
  "dependencies": {
    "request": "1.9.5"
  }
}

// server.js file...
var http = require("http")
var request = require("request")
var port = process.env.PORT || 8001

http.createServer(function(req, rsp){
  var options = { uri: "http://google.com" }

  request(options, function(err, response, body){
    rsp.writeHead(200)
    rsp.end(body.replace(/google/g, "foobar"))
  })

}).listen(port)

console.log("listening on port " + port)