小编Fel*_*des的帖子

如何避免在Puppeteer和Phantomjs上被检测为bot?

Puppeteer和PhantomJS相似。我俩都遇到了这个问题,代码也很相似。

我想从一个网站上获取一些信息,该网站需要进行身份验证才能查看这些信息。我什至无法访问主页,因为它像“ SS”一样被检测为“可疑活动”:https : //i.imgur.com/p69OIjO.png

我发现,当我使用名为Cookie的标头在Postman上进行测试并且在浏览器中捕获到它的cookie的值时,不会发生此问题,但是此cookie会在一段时间后过期。所以我想Puppeteer / PhantomJS都没有捕获cookie,因为该站点拒绝了无头的浏览器访问。

我可以做些什么来绕过这个?

// Simple Javascript example
var page = require('webpage').create();
var url = 'https://www.expertflyer.com';

page.open(url, function (status) {
    if( status === "success") {
        page.render("home.png");
        phantom.exit();
    }
});
Run Code Online (Sandbox Code Playgroud)

bots node.js headless-browser phantomjs puppeteer

6
推荐指数
4
解决办法
6547
查看次数

标签 统计

bots ×1

headless-browser ×1

node.js ×1

phantomjs ×1

puppeteer ×1