在Python中比较两个网址

Question

是否有一种标准方法来比较Python中的两个URL - are_url_the_same在此示例中实现:

url_1 = 'http://www.foo.com/bar?a=b&c=d'
url_2 = 'http://www.foo.com:80/bar?c=d;a=b'

if are_urls_the_same(url_1, url2):
    print "URLs are the same"

同样我的意思是他们访问相同的资源 - 所以示例中的两个网址是相同的.

Answer 1

这是一个简单的类,使您可以执行此操作:

if Url(url1) == Url(url2):
    pass

它可以很容易地作为一个函数进行修改,虽然这些对象是可以清除的,因此可以使用set或dictionary将它们添加到缓存中:

from urlparse import urlparse, parse_qsl
from urllib import unquote_plus

class Url(object):
    '''A url object that can be compared with other url orbjects
    without regard to the vagaries of encoding, escaping, and ordering
    of parameters in query strings.'''

    def __init__(self, url):
        parts = urlparse(url)
        _query = frozenset(parse_qsl(parts.query))
        _path = unquote_plus(parts.path)
        parts = parts._replace(query=_query, path=_path)
        self.parts = parts

    def __eq__(self, other):
        return self.parts == other.parts

    def __hash__(self):
        return hash(self.parts)

Answer 2

使用urlparse并将compare函数与您需要的字段一起编写

>>> from urllib.parse import urlparse
>>> o = urlparse('http://www.cwi.nl:80/%7Eguido/Python.html')

你可以比较以下任何一个:

1. scheme 0 URL方案说明符
2. netloc 1网络位置部分
3. path 2分层路径
4. params 3最后一个路径元素的参数
5. 查询4查询组件
6. 片段5片段标识符
7. 用户名用户名
8. 密码密码
9. hostname主机名(小写)
10. port端口号为整数(如果存在)

Answer 3

Lib https://github.com/rbaier/urltools

看看我的项目,我正在做同样的事情

https://github.com/tg123/tao.bb/blob/master/url_normalize.py