如何绕过 Selenium 中的 Cloudflare 机器人保护

Question

我需要从网站上获取一些信息以用于教育目的，但是由于保护，我无法发送请求。我得到典型的“检查您的浏览器”页面首先显示，然后我被重复重定向。我如何绕过 python selenium 中的这种保护？

Answer 1

我很久以前就遇到过这个问题，并且我能够解决它。使用下面的代码并享受:)

options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(options=options, executable_path=r"webdriver\chromedriver.exe")

///////// 编辑 ///////////////// 这种方式现在不起作用！

Answer 2

使用unDetected_chromedriver pip 包。这是一个非常简单的假客户端包。

import undetected_chromedriver


def init_webdriver():
    driver = undetected_chromedriver.Chrome()

    driver.get(url)

    content = driver.page_content

    driver.close()
    driver.quit()

您也可以在后台运行它

import undetected_chromedriver
from selenium import webdriver



def init_webdriver():
    options = webdriver.ChromeOptions()
    options.add_argument("--headless")
    driver = undetected_chromedriver.Chrome(options)

    driver.get(url)

    content = driver.page_content

    driver.close()
    driver.quit()

我于 2022 年 6 月 28 日对其进行了测试。效果非常好。