如何在python中编写代理池服务器(当请求到来时,选择一个代理来获取url内容)？

Question

我不知道这样的代理服务器的名称是什么,欢迎您修改我的问题标题.

当我在谷歌搜索代理服务器时,很多实现像maproxy或a-python-proxy-in-than-than-100-lines-of-code.那些代理服务器似乎只是要求远程服务器获取某个URL地址.

我想构建一个代理服务器,它包含一个代理池(一个http/https代理列表),只有一个IP地址和一个端口来服务传入的请求.当请求到来时,它会从池中选择一个代理并执行此请求,并返回结果.

例如,我有一个IP'192.168.1.66'的VPS.我在此VPS启动代理服务器,IP为"127.0.0.1",端口为"8080".

然后,我可以使用此代理,如下所示.

import requests
url = 'http://www.google.com'
headers = {
    ...
}
proxies = {
    'http': 'http://192.168.1.66:8080'
}

r = requests.get(url, headers=headers, proxies=proxies)

我看到了一些不足之处:

from twisted.web import proxy, http
from twisted.internet import reactor
from twisted.python import log
import sys
log.startLogging(sys.stdout)

class ProxyFactory(http.HTTPFactory):
    protocol = proxy.Proxy

reactor.listenTCP(8080, ProxyFactory())
reactor.run()

它工作正常,但它很简单,我不知道它是如何工作的,以及如何改进此代码以使用代理池.

一个示例流程:

来自hidu/proxy-manager,由golang编写.

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++  
+ client (want visit http://www.baidu.com/)              +  
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++  
                        |  
                        |  via proxy 127.0.0.1:8090  
                        |  
                        V  
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++  
+                       +         proxy pool             +  
+ proxy manager listen  ++++++++++++++++++++++++++++++++++  
+ on (127.0.0.1:8090)   +  http_proxy1,http_proxy2,      +  
+                       +  socks5_proxy1,socks5_proxy2   +  
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++  
                        |  
                        |  choose one proxy visit 
                        |  www.baidu.com  
                        |  
                        V  
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++  
+        site:www.baidu.com                              +  
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++  

Answer 1

您的代理池概念并不难实现。如果我理解正确的话，你想进行以下操作。

1. 您的代理服务器监听 192.168.1.66:8080 上的请求
2. CLIENT 请求访问http://www.google.com
3. 您的代理服务器将客户端的请求发送到另一个代理服务器，该服务器位于另一个代理服务器 - 代理池的列表中。
4. 您的代理服务器从另一台代理服务器获取响应，并响应客户端

因此，我使用Flask和Requests编写了简单的代理服务器。

from flask import Flask, Response
import random

app = Flask(__name__)

@app.route('/p/<path:url>')
def proxy(url):
    """ Request to this like /p/www.google.com
    """
    url = 'http://{}'.format(url)
    r = get_response(url)

    return Response(stream_with_context(r.iter_content()), 
                    content_type=r.headers['content-type'])

def get_proxy():
    # This is your "Proxy Pool"
    proxies = [
        'http://proxy-server-1.com',
        'http://proxy-server-2.com',
        'http://proxy-server-3.com',
    ]

    return random.choice(proxies)

def get_response(target_url):
    proxy = get_proxy();
    url = "{}/p/{}".format(proxy, target_url)
    # Above line will generate like http://proxy-server-1.com/p/www.google.com

    return requests.get(url, stream=True)

if __name__ == '__main__':
    app.run()

然后，您可以从这里开始改进您的代理服务器。

常见Proxy Pool，或者Proxy Manager可以检查其代理的可用性、速度和更多统计信息，并选择最佳代理发送请求。当然，这个示例仅处理简单的请求，您可以添加处理请求参数、方法、协议的功能。

希望这有帮助！