CookieError：非法密钥

Question

我正在 aiohttp 中编写网络爬虫并遇到 cookie 问题。我尝试抓取的服务器需要身份验证，并且为了获取可供经过身份验证的用户使用的页面，我需要在密钥本身中设置一个带有括号的 cookie。这是一个问题，因为aiohttp.ClientSession.cookie_jar.update_cookies要么忽略任何非法 cookie：

session = ClientSession()
cookie = SimpleCookie("a[b]=1234;")
session.cookie_jar.update_cookies(cookie)
print([f for f in session.cookie_jar])  # empty list, cookie not set

或提出CookieError：

session = ClientSession()
cookie = SimpleCookie()
cookie["a[b]"] = "1234"  # http.cookies.CookieError: Illegal key 'a[b]'
session.cookie_jar.update_cookies(cookie)
print([f for f in session.cookie_jar])


session = ClientSession()
session.cookie_jar.update_cookies([("a[b]", "1234")])  # http.cookies.CookieError: Illegal key 'a[b]'
print([f for f in session.cookie_jar])

---

可以通过访问http.cookies.Morsel受保护的成员来强制设置cookie _key，即

session = ClientSession()
session.cookie_jar.update_cookies([("__tmp", "1234")])
for cookie in session.cookie_jar:
    if cookie.key == "__tmp":
        cookie._key = "a[b]"
print([f for f in session.cookie_jar])  # invalid cookie is set correctly

但这只会将问题推后一步，因为任何会话请求（例如）session.get(url)都会开始引发http.cookies.CookieError。

我无法绕过发送此 cookie。我是否坚持使用非异步库，requests或者有没有办法忽略这个问题？

Answer 1

我找到了一种解决方法，虽然我不喜欢使用它，但它是优于重写整个的首选解决方案aiohttp：

import sys
if "http" in sys.modules:
    raise ImportError("Crawler must be imported before http module")
import http.cookies
http.cookies._is_legal_key = lambda _: True