如何使用 puppeteer 查找网页上的所有资产?

dsp*_*099 1 javascript node.js web-scraping express puppeteer

我想使用 puppeteer 搜索页面并返回所有可用资产,包括图像、pdf、任何可嵌入的内容等。

出于我们的目的,让我们简单地使用图像。img标签有一个src属性,但是通过 CSS 规则加载的图像呢?有没有办法查看加载的资产总数?

Rip*_*ppo 5

一种方法是监听事件 requestfinished

const browser = await puppeteer.launch();
const page = await browser.newPage();

page.on('requestfinished', (request) => {
    console.log(request.url())
});

await page.goto('http://www.wildesoft.net/');
await page.waitFor(5000);

await browser.close();
Run Code Online (Sandbox Code Playgroud)

这会将收到的所有资源记录到控制台,例如

结果截图