小编Naz*_*sen的帖子

Puppeteer 无法在无头模式下抓取数据,但能够在非无头模式下抓取数据。怎么修?

当我在模式下运行节点 APIheadless: false时,它可以打开一个浏览器实例,我可以获取数据。但当我使用headless: true时,它显示访问被拒绝并且不会抓取数据。我的代码如下。

(async () => {
const browser = await puppeteer.launch({
  headless: false
});
const page = await browser.pages();
await page[0].goto(url);

const my = await page[0].evaluate(() => {

  let title = document.getElementsByClassName('p-name')[0].innerHTML.trim();
  return title;
});
console.log(my);
res.status(200).json(my);
await browser.close();})(); 
Run Code Online (Sandbox Code Playgroud)

我搜索解决方案并找到了这个(Puppeteer 在非无头模式下打开一个空选项卡)。这无法完全解决我的问题。这帮助我关闭了打开的其他浏览器。提前致谢。

我想刮的这个网址是:https://www.macys.com/shop/product/nike-big-boys-sportswear-t-shirt? ID=11252136&CategoryID=6086&swatchColor=Dark%20Gray%20Heather

node.js web-scraping puppeteer

2
推荐指数
1
解决办法
1327
查看次数

标签 统计

node.js ×1

puppeteer ×1

web-scraping ×1