Puppeteer和PhantomJS相似。我俩都遇到了这个问题,代码也很相似。
我想从一个网站上获取一些信息,该网站需要进行身份验证才能查看这些信息。我什至无法访问主页,因为它像“ SS”一样被检测为“可疑活动”:https : //i.imgur.com/p69OIjO.png
我发现,当我使用名为Cookie的标头在Postman上进行测试并且在浏览器中捕获到它的cookie的值时,不会发生此问题,但是此cookie会在一段时间后过期。所以我想Puppeteer / PhantomJS都没有捕获cookie,因为该站点拒绝了无头的浏览器访问。
我可以做些什么来绕过这个?
// Simple Javascript example
var page = require('webpage').create();
var url = 'https://www.expertflyer.com';
page.open(url, function (status) {
if( status === "success") {
page.render("home.png");
phantom.exit();
}
});
Run Code Online (Sandbox Code Playgroud)