如何使用 Selenium 和 Python 绕过 Google CAPTCHA？

Question

如何使用 Selenium 和 Python 绕过 Google CAPTCHA？

当我尝试抓取某些东西时，Google 会给我一个 CAPTCHA。我可以使用 Selenium Python 绕过 Google CAPTCHA 吗？

例如，它是 Google reCAPTCHA。您可以通过此链接查看此 CAPTCHA：https : //www.google.com/recaptcha/api2/demo

Answer 1

要开始使用Selenium的Python客户端，您应该避免解决/绕过 Google CAPTCHA。

硒

Selenium使浏览器自动化。现在，你想用这种能力实现什么完全取决于个人，但主要是为了通过浏览器客户端自动化 Web 应用程序以进行测试，粗略地说，它当然不限于此。

验证码

另一方面，CAPTCHA（首字母缩写词是...Completely Automated Public Turing test to tell Computers and Humans Apart...）是一种用于计算的挑战-响应测试，用于确定用户是否是人类。

因此，Selenium和CAPTCHA服务于两个完全不同的目的，理想情况下不应用于实现任何相关的任务。

话虽如此，reCAPTCHA可以轻松检测网络流量并将您的程序识别为Selenium驱动的机器人。

通用解决方案

但是，有一些通用方法可以避免在网页抓取时被检测到：

• 网站可以确定您的脚本/程序的首要属性是通过您的显示器大小。所以建议不要使用常规的Viewport。
• 如果您需要向网站发送多个请求，请继续更改每个请求的用户代理。在这里您可以找到有关在 Selenium 中更改 Google Chrome 用户代理的方法的详细讨论？
• 为了模拟人类行为，您可能需要减慢脚本执行速度，甚至超出WebDriverWait和expected_conditions inducing time.sleep(secs)。在这里您可以找到有关如何在 Python 中使 Selenium WebDriver 休眠几毫秒的详细讨论

这个用例

但是，在几个用例中，我们能够使用Selenium与reCAPTCHA进行交互，您可以在以下讨论中找到更多详细信息：

• 如何使用 Selenium 和 Java 单击 reCAPTCHA
• 使用 Selenium 和 VBA Excel 的 reCAPTCHA 复选框的 CSS 选择器
• 找到 reCAPTCHA 元素并点击它——Python + Selenium

参考

您可以在以下位置找到一些相关讨论：

• 如何通过 Python 使用 GeckoDriver 和 Firefox 使 Selenium 脚本无法检测？
• 是否有无法检测到的 Selenium WebDriver 版本？

tl; 博士

• reCAPTCHA 3 如何知道我正在使用 Selenium/chromedriver？

Answer 2

为了在抓取谷歌时绕过验证码，您必须手动解决验证码并导出谷歌提供给您的 cookie。现在，每次打开 Selenium WebDriver 时，请确保添加导出的 cookie。GOOGLE_ABUSE_EXEMPTION cookie 是您要查找的 cookie，但为了安全起见，我会保存所有 cookie。

如果您想在抓取中增加一层稳定性，您应该导出多个 cookie，并让您的脚本在每次 ping 谷歌时随机选择其中一个。

这些 cookie 的有效期很长，因此您无需每天都获取新的 cookie。

有关在 Python 和 Selenium 中保存和加载 cookie 的帮助，您应该查看此答案：如何使用 Python + Selenium WebDriver 保存和加载 cookie