绕过Cloudflare Scrapeshield

Question

我正在进行一个webscraping项目,我遇到了cloudflare scrapeshield的问题.有谁知道如何绕过它？我正在使用selenium webdriver,它被scrapeshield重定向到一些lightspeed页面.在firefox上使用python构建.浏览通常不会导致它重定向.webdriver与普通浏览器有什么不同吗？

Answer 1

看，scrapeshield 的作用是检查您是否使用真正的浏览器，它本质上是检查您的浏览器中是否存在某些错误。假设 Chrome 无法处理if同时存在IFramea ，某些 Web 浏览器对不同的测试有不同的反应，因此 webdriver 不得对这些做出反应，从而导致系统说“我们有一个入侵者，请更改303 error页！”。我可能是对的，但不是100%确定......

有关来源的更多信息：

我在关于网络嗅探器并阻止他们在服务器上获取正确漏洞信息的 Defcon 演讲中找到了大部分信息，他也在 PHP 中制作了一个网络浏览器标识符。