Headless Selenium 突然停止工作

Question

我使用 Selenium 和 python 进行网络抓取已经有几个星期了。它一直运行得相当好。一直在 macOS 和 Windows 7 上运行。但是，无头网络驱动程序突然停止工作。我一直在使用 chromedriver 并进行以下设置：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--headless")
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
chrome_options.add_argument("--window-size=1920x1080")
driver = webdriver.Chrome(chrome_options=options)

driver.get('url')

最初我必须添加窗口、GPU 和沙箱参数才能让它工作，直到现在它都可以工作。但是，现在运行脚本时，它会卡在 driver.get('url') 处。它不会产生错误或任何东西似乎无限期地运行。当我没有无头运行并且简单地运行时：

from selenium import webdriver
driver = webdriver.Chrome()

driver.get('url')

它完全按照预期工作。这个问题也出现在我的windows机器上。我从哪说起呢？

Answer 1

解决了

由于某种原因，代理设置减慢了速度。因此通过添加以下内容解决了这个问题：

options.add_argument(f'--proxy-server={None}')