使用Python和urllib2的源接口

Question

如何使用Python和urllib2设置源IP /接口？

Answer 1

不幸的是,正在使用的标准库模块堆栈(urllib2,httplib,socket)在某种程度上设计得很糟糕 - 在操作的关键点,HTTPConnection.connect(在httplib中)代理socket.create_connection,这反过来又不会给你任何"钩子"在套接字实例的创建sock和sock.connect调用之间,你需要设置源IP 才能插入sock.bind之前sock.connect(我正在广泛传播,因为没有以这种密不透风,过度封装的方式设计抽象 - 我本周四将在OSCON上以"Zen and the Art of Abstraction Maintenance"为标题来讨论这个问题 - 但在这里你的问题是如何处理一堆以这种方式设计的抽象,感叹.

当你遇到这样的问题时,你只有两个不太好的解决方案:复制,粘贴和编辑你设计错误的代码,你需要放置一个原始设计师不能满足的"钩子"; 或者,"猴子补丁"代码.既不是好的,但两者都可以工作,所以至少让我们感谢我们有这样的选择(通过使用开源和动态语言).在这种情况下,我想我会选择猴子修补(这很糟糕,但复制和粘贴编码更糟糕) - 代码片段如:

import socket
true_socket = socket.socket
def bound_socket(*a, **k):
    sock = true_socket(*a, **k)
    sock.bind((sourceIP, 0))
    return sock
socket.socket = bound_socket

根据您的确切需求(您是否需要将所有套接字绑定到相同的源IP,或......？),您可以在urllib2正常使用之前运行它,或者(当然,以更复杂的方式)在需要时运行它那些你需要以某种方式绑定的传出套接字(然后每次恢复socket.socket = true_socket以避免未来的套接字尚未创建).第二种选择增加了它自己的复杂性,以便正确地进行协调,所以我在等你解释它们是否确实需要这些并发症.

AKX的好答案是"复制/粘贴/编辑"替代方案的变体,因此我不需要对此进行大量扩展 - 请注意,它并没有完全socket.create_connection在其connect方法中重现,请参阅此处的源代码(在此处页面的末尾)create_connection如果您决定走这条路线,请确定您希望在复制/粘贴/编辑的版本中体现的功能的其他功能.

Answer 2

这似乎有效.

import urllib2, httplib, socket

class BindableHTTPConnection(httplib.HTTPConnection):
    def connect(self):
        """Connect to the host and port specified in __init__."""
        self.sock = socket.socket()
        self.sock.bind((self.source_ip, 0))
        if isinstance(self.timeout, float):
            self.sock.settimeout(self.timeout)
        self.sock.connect((self.host,self.port))

def BindableHTTPConnectionFactory(source_ip):
    def _get(host, port=None, strict=None, timeout=0):
        bhc=BindableHTTPConnection(host, port=port, strict=strict, timeout=timeout)
        bhc.source_ip=source_ip
        return bhc
    return _get

class BindableHTTPHandler(urllib2.HTTPHandler):
    def http_open(self, req):
        return self.do_open(BindableHTTPConnectionFactory('127.0.0.1'), req)

opener = urllib2.build_opener(BindableHTTPHandler)
opener.open("http://google.com/").read() # Will fail, 127.0.0.1 can't reach google.com.

不过,你需要找出一些参数化"127.0.0.1"的方法.

Answer 3

这是使用HTTPConnection的source_address参数(在Python 2.7中引入)的进一步改进:

import functools
import httplib
import urllib2

class BoundHTTPHandler(urllib2.HTTPHandler):

    def __init__(self, source_address=None, debuglevel=0):
        urllib2.HTTPHandler.__init__(self, debuglevel)
        self.http_class = functools.partial(httplib.HTTPConnection,
                source_address=source_address)

    def http_open(self, req):
        return self.do_open(self.http_class, req)

这为我们提供了一个知道source_address的自定义urllib2.HTTPHandler实现.我们可以将它添加到新的urllib2.OpenerDirector并使用以下代码将其安装为默认的opener(对于将来的urlopen()调用):

handler = BoundHTTPHandler(source_address=("192.168.1.10", 0))
opener = urllib2.build_opener(handler)
urllib2.install_opener(opener)