Raj*_*jat 8 performance node.js puppeteer puppeteer-cluster
您好,我正在使用 puppeteer 来抓取网页(约 100 万条记录)。为了管理长时间的爬网,我使用 puppeteer-cluster 节点模块。
目前我正在使用以下参数来启动 chromium:
args: [
'--disable-setuid-sandbox',
'--disable-dev-shm-usage',
'--disable-accelerated-2d-canvas',
'--no-first-run',
'--disable-gpu'
]
Run Code Online (Sandbox Code Playgroud)