我们如何在colab.research.google.com中使用Selenium Webdriver？

Question

我想在colab.research.google.com中使用Chrome的Selenium Webdriver进行快速处理。我可以使用安装Selenium，!pip install selenium但chrome的webdriver需要通向webdriverChrome.exe的路径。我应该如何使用它？

PS- colab.research.google.com是一个在线平台，可为与深度学习相关的快速计算问题提供GPU。请避免使用诸如webdriver.Chrome（path）之类的解决方案。

Answer 1

这个在colab工作

!pip install selenium
!apt-get update 
!apt install chromium-chromedriver

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
wd = webdriver.Chrome('chromedriver',chrome_options=chrome_options)
driver =webdriver.Chrome('chromedriver',chrome_options=chrome_options)

Answer 2

我制作了自己的图书馆，以使其更容易。

!pip install kora -q
from kora.selenium import wd
wd.get("https://www.website.com")

Answer 3

您可以通过安装Chrome Web驱动程序并调整一些选项来做到这一点，以使其在Google colab中不会崩溃：

!pip install selenium
!apt-get update # to update ubuntu to correctly run apt install
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
import sys
sys.path.insert(0,'/usr/lib/chromium-browser/chromedriver')
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
wd = webdriver.Chrome('chromedriver',chrome_options=chrome_options)
wd.get("https://www.webite-url.com")

Answer 4

没有足够的信誉来发表评论。:(

然而，@Thomas 的答案在 2021 年 10 月 6 日仍然有效，但只需从蝙蝠右侧开始进行一个简单的更改，您就会得到DeprecationWarning: use options instead of chrome_options

工作代码如下：

!pip install selenium
!apt-get update # to update ubuntu to correctly run apt install
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
import sys
sys.path.insert(0,'/usr/lib/chromium-browser/chromedriver')
from selenium import webdriver
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
wd = webdriver.Chrome('chromedriver',options=options)
wd.get("/sf/ask/3573251811/")
wd.title

Answer 5

您可以使用Google-Colab-Selenium

它将下载 Google Chrome，设置所有内容，并将所需的 WebDriver 添加Options到 Selenium 实例：

这是一个 Google Colab Notebook，供您自行测试： https://colab.research.google.com/drive/1MUFonUP4nlgtYoPIglnr0HsUsqljz64A