Puppeteer Crawler - 错误：net::ERR_TUNNEL_CONNECTION_FAILED

Question

目前，我的 Puppeteer 在 Heroku 上使用代理运行。在本地，代理中继完全正常。但是我收到错误错误：net::ERR_TUNNEL_CONNECTION_FAILED。我已经在 Heroku 配置变量中设置了所有 .env 信息，所以它们都可用。

知道如何修复此错误并解决问题吗？

我目前有

 const browser = await puppeteer.launch({
      args: [
      "--proxy-server=https=myproxy:myproxyport",
      "--no-sandbox",
      '--disable-gpu',
      "--disable-setuid-sandbox",
      ],
      timeout: 0,
      headless: true,
    });

Answer 1

页面认证

代理服务器参数的正确格式是，

--proxy-server=HOSTNAME:PORT

如果是 HTTPS 代理，您page.authenticate甚至可以在进行导航之前传递用户名和密码，

page.authenticate({username:'user', password:'password'});

完整的代码看起来像这样，

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({
        headless:false,
        ignoreHTTPSErrors:true,
        args: ['--no-sandbox','--proxy-server=HOSTNAME:PORT']
  });
  const page = await browser.newPage();

  // Authenticate Here 
  await page.authenticate({username:user, password:password});
  await page.goto('https://www.example.com/');
})();

代理链

如果以某种方式使用上述方法无法进行身份验证，您可能希望在其他地方处理身份验证。

有多个包可以做到这一点，一个是proxy-chain，有了这个，您可以使用一个代理，并将其用作新的代理服务器。

该proxyChain.anonymizeProxy（proxyUrl）将采取一个代理用户名和密码，创建一个新的代理，你可以在你的脚本中使用。

const puppeteer = require('puppeteer');
const proxyChain = require('proxy-chain');

(async() => {
    const oldProxyUrl = 'http://username:password@hostname:8000';
    const newProxyUrl = await proxyChain.anonymizeProxy(oldProxyUrl);

    // Prints something like "http://127.0.0.1:12345"
    console.log(newProxyUrl);

    const browser = await puppeteer.launch({
        args: [`--proxy-server=${newProxyUrl}`],
    });

    // Do your magic here...
    const page = await browser.newPage();
    await page.goto('https://www.example.com');
})();