在 python 或其他方式中获取 Scrapy 的最新 chrome 用户代理

rub*_*bmz 4 user-agent scrapy

最近,我开始定期使用 Scrapy 来分析需要最新浏览器(用户代理)才能显示其内容的网站。现在,这似乎是一个老问题,但最新的问题是相当开放的。为什么?

没有简单的 API 或包来生成/下载最新版本的用户代理(在任何操作系统/平台中)。

许多软件包试图解决这个问题:

  1. Shadow-useragent - 但它依赖于自愿服务器,该服务器由于某种原因目前处于不活动状态。
  2. latest-user-agents - 但它也使用托管的 json 文件 + 它还列出了旧的用户代理,并且没有任何文档。

最后有一个网站:www.whatismybrowser.com,它非常有帮助,但不能轻易自动化......

有任何线索如何解决这个问题吗?

Mat*_*son 8

一个旧的答案,但我实际上也在寻找这个功能。

第二个选项latest-user-agents可以工作,因为它从同一作者的每日更新 获取JSON 文件。

README.md 包含旧用户代理的原因是存储库未更新,因此这只是一个示例。我今天尝试了它,它具有我能看到的所有最新的用户代理。