如何使用urlfetch获取所有cookie？

Question

根据GAE获取文档,cookie不会通过重定向处理:

重定向时不处理Cookie.如果需要cookie处理,请将follow_redirects设置为False并手动处理cookie和重定向.

所以,我正在尝试实施手动解决方案:

page = urlfetch.Fetch(
    url = url,
    payload = form_data,
    method = urlfetch.POST,
    headers = headers,
    follow_redirects = False,
    deadline = 60)
cookies = ''
while page.status_code == 302:
    url = page.headers.get('location')
    if page.headers.get('set-cookie'):
        cookies = page.headers.get('set-cookie')
        headers['cookie'] = cookies
    page = urlfetch.Fetch(
        url = url,
        method = urlfetch.GET,
        headers = headers,
        follow_redirects = False,
        deadline = 60)
if page.status_code == 200 and page.content:
    self.response.out.write(page.content)

但它没有按预期工作.看起来我错过了一些饼干:

header_msg包含响应头的httplib.HTTPMessage实例.如果可能有多个具有相同名称的标头(例如,Set-Cookie标头),请调用header_msg.get_headers(header_name)以将值检索为列表.

但是我应该如何使用header_msg呢？

Answer 1

如果我理解了这个问题,你想从每个响应中收集(并累积传递)cookie,但是使用follow_redirects = True的URLFetch只返回上一个响应中的cookie.此外,默认行为不实现cookie jar,这将导致后面的请求与先前响应中Cookie的Set-Cookies 对应的右头部一起发送.据推测,初始POST是一个登录表单,重定向到期望cookie的页面,这个方案无法满足这些限制.

为此,您的代码已关闭,但cookies = page.headers.get('set-cookie')在每次请求后都会清除以前收集的Cookie.这应该更好:

page = urlfetch.Fetch(
  url = url,
  headers = headers,
  follow_redirects = False)
cookies = []
while page.status_code == 302:
  url = page.headers.get('location')
  if page.headers.get('set-cookie'):
    cookies.extend(page.header_msg.getheaders('set-cookie'))
  headers['cookie'] = '; '.join(cookies)
  page = urlfetch.Fetch(
    url = url,
    method = urlfetch.GET,
    headers = headers,
    follow_redirects = False)
if page.status_code == 200 and page.content:
  self.response.out.write(page.content)

一些警告:

• 如果Location是相对路径,则需要修复url.
• 如果任何Set-Cookie标头不仅仅是key = value(例如它有一个过期),您将需要解析标头值,这样您就可以只发送键/值对.有关解析的帮助,请参阅Cookie库.
• 如果Set-Cookie针对特定密钥看到多个cookie,此代码将很乐意发送重复的cookie .
• 如果重定向在单独的域上结束,则会错误地从原始域发送cookie.这可能是一个安全问题.正确的cookie jar实现可以推断域和路径限制,以确定何时接受和发出cookie.您可能想要合并cookielib.CookieJar库.如果您希望请求序列位于同一个域中,则只要检测到交换机就可以中止.