在Puppeteer中进行网页搜刮时如何处理验证码？

Question

我正在使用Puppeteer进行Web爬网，但我刚刚注意到，有时由于我在计算机上进行的访问次数众多，我试图抓取的网站会要求提供验证码。验证码形式如下所示：

因此，我将需要有关如何处理此问题的帮助。我一直在考虑将验证码表单发送到客户端，因为我使用Express和EJS来将值发送到我的索引网站，但是我不知道Puppeteer是否可以发送类似的内容。

有任何想法吗？

Answer 1

这是一个 reCAPTCHA（第 2 版，在此处查看演示），向您显示该页面的所有者不希望您自动抓取该页面。

您的选择如下：

选项 1：停止抓取或尝试使用官方 API

由于页面所有者不希望您抓取该页面，您可以简单地尊重该决定并停止抓取。也许有一个文档化的 API 可供您使用。

选项 2：自动化/外包验证码解决方案

整个行业都有人（通常在发展中国家）为其他人的机器人填写验证码。我不会链接到任何特定站点，但您可以查看Md. Abu Taher的其他答案以获取有关该主题的更多信息或搜索验证码求解器。

选项 3：自己解决验证码

为此，让我解释一下 reCAPTCHA 的工作原理以及使用它访问页面时会发生什么。

reCAPTCHA (v2) 的工作原理

每个页面都有一个ID，可以通过查看源代码来查看，例如：

<div class="g-recaptcha form-field" data-sitekey="ID_OF_THE_WEBSITE_LONG_RANDOM_STRING"></div>

加载 reCAPTCHA 代码后，它将向表单添加一个没有值的响应文本区域。它看起来像这样：

<textarea id="g-recaptcha-response" name="g-recaptcha-response" class="g-recaptcha-response" style="... display: none;"></textarea>

在您解决挑战后，当提交表单时，reCAPTCHA 将向此文本字段添加一个很长的字符串（稍后可以由后端的服务器/reCAPTCHA 服务进行检查）。

如何自己解决验证码

通过复制该textarea字段的值，您可以将“已解决的挑战”从一个浏览器转移到另一个浏览器（这也是解决方案为您提供的服务）。整个过程如下所示：

1. 检测页面是否.g-recaptcha在“爬行”浏览器中使用 reCAPTCHA（例如检查）
2. 使用相同的 URL 以非无头模式打开第二个浏览器
3. 自己解决验证码
4. 从以下位置读取值： document.querySelector('#g-recaptcha-response').value
5. 将该值放入第一个浏览器： document.querySelector('#g-recaptcha-response').value = '...'
6. 提交表格

更多信息/阅读

谷歌没有太多公开信息，reCAPTCHA 究竟是如何工作的，因为这是机器人创建者和谷歌检测算法之间的猫捉老鼠游戏，但网上有一些资源提供更多信息：

• 来自 Google 的官方文档：显然，他们只是解释了基础知识，而不是“背后”的工作原理
• InsideReCaptcha：这是 2014 年的一个项目，它试图“逆向工程”reCAPTCHA。虽然这已经很老了，但页面上仍然有很多有用的信息。
• 关于 stackoverflow 的另一个问题：这个问题包含一些关于 reCAPTCHA 的有用信息，但也包含许多关于如何欺骗 reCAPTCHA 的推测性（并且很可能）过时的方法。

Answer 2

您应该使用以下组合：

• 如果目标网站提供API，请使用该API。这是最合法的方式。
• 增加抓取请求之间的等待时间，不要向服务器发送大量请求。
• 经常更改/轮换IP。
• 更改用户代理，浏览器视口大小和指纹。
• 使用验证码的第三方解决方案。
• 自行解决验证码，请检查Thomas Dondorf的答案。基本上，您需要等待验证码出现在另一个浏览器上，然后从那里解决它。第三方解决方案可以为您完成此任务。

免责声明：请勿使用反验证码插件/服务来滥用资源。资源昂贵。

基本上，这个想法是使用反验证码服务（例如（2captcha））来处理持久的重新验证。

您可以使用puppeteer-extra-plugin-recaptchaberstend 调用的此插件。

// puppeteer-extra is a drop-in replacement for puppeteer,
// it augments the installed puppeteer with plugin functionality
const puppeteer = require('puppeteer-extra')

// add recaptcha plugin and provide it your 2captcha token
// 2captcha is the builtin solution provider but others work as well.
const RecaptchaPlugin = require('puppeteer-extra-plugin-recaptcha')
puppeteer.use(
  RecaptchaPlugin({
    provider: { id: '2captcha', token: 'XXXXXXX' },
    visualFeedback: true // colorize reCAPTCHAs (violet = detected, green = solved)
  })
)

之后，您可以照常运行浏览器。它将提取页面上的所有验证码并尝试解决。您必须找到一个提交按钮，该按钮因站点而异（如果存在）。

// puppeteer usage as normal
puppeteer.launch({ headless: true }).then(async browser => {
  const page = await browser.newPage()
  await page.goto('https://www.google.com/recaptcha/api2/demo')

  // That's it, a single line of code to solve reCAPTCHAs 
  await page.solveRecaptchas()

  await Promise.all([
    page.waitForNavigation(),
    page.click(`#recaptcha-demo-submit`)
  ])
  await page.screenshot({ path: 'response.png', fullPage: true })
  await browser.close()
})

PS：

• 还有其他插件，即使我做了一个非常简单的插件，因为即使对于像我这样的人，验证码也越来越难解决。您可以在此处阅读代码。
• 我与2Captcha或上述任何其他第三方服务都不隶属。
• 我创建了自己的解决方案，与Thomas Dondorf的其他答案类似，但是由于Captcha变得越来越荒谬，并且我没有解决问题的精神，因此很快就放弃了。