Puppeteer 页面不想在无头模式下完全加载

Question

这是我的代码：

// Open the browser
let browser = await puppeteer.launch({
    args: ["--no-sandbox"]
});
let page = await browser.newPage();

navPromise = page.waitForSelector('#js_boite_reception').then(() => {
    console.log('received');
});
await page.goto(entMessagesURL);
await navPromise;

// Wait 10 seconds, to be sure that is not because my connection is slow (it's not)
logger.log(`On the messages page (session=${username})`);
await delay(10000);

// Write an html file with the page content
let pageContent = await page.content();
require('fs').writeFileSync('./test.html', pageContent);

将received不显示，我得到一个超时错误。但是，如果我删除 waitForSelector 函数，并且只写入test.html文件，我们可以看到：

启用无头模式，部分页面未加载

禁用无头模式，加载所有页面

在无头模式下，仅加载部分页面内容。我不知道为什么。即使我添加一分钟的超时，它也不会加载更多......我该怎么办？

注意：我尝试使用用户代理：

await page.setUserAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36");

（在 下let page = await browser.newPage()）

Answer 1

await page.setUserAgent("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36");

这对我有用！我的网站在本地尝试时阻止了无头模式。添加标题后，我终于找到了选择器。

Answer 2

我非常确定这是一场条件竞赛，并且它正在发生，因为您试图在进入页面之前获取选择器。

尝试移动这些行：

await page.goto(entMessagesURL);
navPromise = page.waitForSelector('#js_boite_reception').then(() => {
    console.log('received');
});

我无法尝试重现您的错误，因为我不知道是什么页面以及它所写的语言