Pytrends:请求失败:Google返回了代码为429的响应

Question

我正在使用Pytrends来提取Google趋势数据,例如:

from pytrends.request import TrendReq
pytrend = TrendReq()
pytrend.build_payload(kw_list=['bitcoin'], cat=0, timeframe=from_date+' '+today_date)

它返回一个错误:

ResponseError: The request failed: Google returned a response with code 429.

我昨天做了,由于某种原因它现在不起作用!来自github的源代码也失败了:

pytrends = TrendReq(hl='en-US', tz=360, proxies = {'https': 'https://34.203.233.13:80'})

我怎样才能解决这个问题？非常感谢!

Answer 1

太长了；我用自定义补丁解决了这个问题

解释

问题来自于谷歌机器人识别系统。与其他类似系统一样，它会停止服务来自可疑客户端的过于频繁的请求。用于识别可信客户端的一些功能是由网页上的 javascript 代码生成的特定标头的存在。不幸的是，Python requests 库没有针对这些机器人识别系统提供这种级别的伪装，因为 JavaScript 代码甚至没有被执行。因此，我的补丁背后的想法是利用我的浏览器与谷歌趋势交互生成的标头。这些标头是由浏览器生成的，同时我使用我的 Google 帐户登录，换句话说，这些标头与我的 Google 帐户链接，所以对他们来说，我是值得信赖的。

解决方案

我通过以下方式解决了：

1. 首先，当您使用 Google 帐户登录时，您必须通过网络浏览器使用 google 趋势；
2. 为了跟踪实际的 HTTP GET 操作：（我使用 Chromium）进入“更多工具”->“开发人员工具”->“网络”选项卡。
3. 访问Google 趋势页面并搜索趋势；它会在“网络”选项卡左侧边栏触发大量HTTP请求；
4. 识别 GET 请求（在我的例子中是 /trends/explore?q=topic&geo=US）并右键单击它并选择复制 -> 复制为 cURL；
5. 然后转到此页面，将 cURL 脚本粘贴到左侧，并复制您可以在页面右侧生成的 python 脚本中找到的“headers”字典；
6. 然后转到您的代码并子类化 TrendReq 类，以便您可以传递刚刚复制的自定义标头：

from pytrends.request import TrendReq as UTrendReq
GET_METHOD='get'

import requests

headers = {
...
}


class TrendReq(UTrendReq):
    def _get_data(self, url, method=GET_METHOD, trim_chars=0, **kwargs):
        return super()._get_data(url, method=GET_METHOD, trim_chars=trim_chars, headers=headers, **kwargs)

7. 从代码中删除任何“import TrendReq”，因为现在它将使用您刚刚创建的；
8. 再重试一次；
9. 如果以后再次出现错误消息：请重复该过程。您需要使用新值更新标头字典，这可能会触发验证码机制。

Answer 2

这个花了一段时间,但事实证明图书​​馆只需要更新.您可以查看我在此处发布的一些方法,这两种方法都会导致状态429响应:

https://github.com/GeneralMills/pytrends/issues/243

最终,通过从我的bash提示符运行以下命令,我能够再次使用它:

跑:

pip install --upgrade --user git+https://github.com/GeneralMills/pytrends

对于最新版本.

希望对你也有用.

编辑:

如果您无法从源代码升级,您可能会有以下运气:

pip install pytrends --upgrade

此外,如果在Windows上,请确保您以管理员身份运行git.