酸洗Selenium Webdriver对象

Question

我想序列化并存储一个selenium webdriver对象,然后我可以在我的代码中的其他地方使用它.我正在尝试使用泡菜来做到这一点.如果有另一种方法来保存webdriver对象的状态,那么我可以在以后再次提起它,这很棒(我不能只是重新加载网址,因为我正在查看的网站是javascript-heavy和当前页面取决于我到目前为止点击的内容).

目前,我有这样的代码.

import pickle
from selenium import webdriver

d = webdriver.PhantomJS()
d.get(url)
d.find_element_by_xpath(xpath).click()
p = pickle.dumps(d, pickle.HIGHEST_PROTOCOL)
# Stuff happens here.
new_driver = pickle.loads(p)
print new_driver.page_source.encode('utf-8', 'ignore')

当我运行它时,我得到以下错误(我打印时发生错误,而不是之前):

    return self.driver.page_source.encode('utf-8', 'ignore')
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 436, in page_source
    return self.execute(Command.GET_PAGE_SOURCE)['value']
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 163, in execute
    response = self.command_executor.execute(driver_command, params)
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 349, in execute
    return self._request(url, method=command_info[0], data=data)
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 396, in _request
    response = opener.open(request)
File "/usr/lib/python2.7/urllib2.py", line 404, in open
    response = self._open(req, data)
File "/usr/lib/python2.7/urllib2.py", line 422, in _open
    '_open', req)
File "/usr/lib/python2.7/urllib2.py", line 382, in _call_chain
    result = func(*args)
File "/usr/lib/python2.7/urllib2.py", line 1214, in http_open
    return self.do_open(httplib.HTTPConnection, req)
File "/usr/lib/python2.7/urllib2.py", line 1184, in do_open
    raise URLError(err)
urllib2.URLError: <urlopen error [Errno 111] Connection refused>

是否可以序列化我的webdriver对象？如果没有,我的替代方案是什么？

更新:

经过进一步检查,即使我再次执行类似d.get(url)的操作而不是打印页面源,它​​也会给我同样的错误.当webdriver对象被pickle/unpickled时,是否会发生某些事情？

Answer 1

我能够腌制一个 selenium.webdriver.Remote 对象。dill 或 pickle 都不适合我序列化 selenium.webdriver.Chrome 对象，python 在其中创建并运行浏览器进程。但是，如果我 (1) 运行独立的 java selenium2 webserver，(2) 在一个进程中，创建一个 selenium.webdriver.Remote 连接到该服务器并将其 pickle/dill 到一个文件，(3) 在另一个进程中，它们都可以工作，反序列化 Remote 实例并使用它。

这导致能够关闭 python 进程，然后重新连接到现有的 webdriver 浏览器并发出新命令（可能来自不同的 python 脚本）。如果我关闭 selenium Web 浏览器，则需要从头开始创建一个新实例。

服务器.py：

import pickle
import selenium.webdriver

EXECUTOR = 'http://127.0.0.1:4444/wd/hub'
FILENAME = '/tmp/pickle'

opt = selenium.webdriver.chrome.options.Options()
capabilities = opt.to_capabilities()
driver = selenium.webdriver.Remote(command_executor=EXECUTOR, desired_capabilities=capabilities)
fp = open(FILENAME, 'wb')
pickle.dump(driver, fp)

客户端.py：

import pickle

FILENAME = '/tmp/pickle'

driver = pickle.load(open(FILENAME, 'rb')
driver.get('http://www.google.com')
el = driver.find_element_by_id('lst-ib')
print(el)

注意（2020-08-08）：以这种方式酸洗硒在最新的硒（4.x）中停止工作。Pickle 无法pickle 内部套接字对象。一种选择是在 setup.py 中的 install_requires 组件中添加一个 'selenium=3.141.0' 项目，它仍然适用于我。

Answer 2

据我所知，使用 Protractor\C# 架构：

基本用法可能具有欺骗性，这意味着在 C# 中使用 ChromeDriver 时，您会看到幕后所有麻烦的掩码，但声明和初始化 webDriver 创建并启动“服务器”（在 Protractor 中是手动完成的）。webDriver 使用该服务器的一些功能和状态。

我认为 webDriver 不是一个对象，而是一个 API。将此 API 表示为对象是为了便于使用，因此我认为您所要求的内容是不可能的。