如何在需要在python中进行身份验证的代理服务器后面运行selenium web驱动程序

Question

目前这是我的代码,但是webDriver正在显示一个输入代理凭据的弹出窗口,我不希望这种烦人的情况,这不是第一次在stackoverflow中出现相同的问题,但是没有人回复正确的答案.

我试过谷歌找到解决这个问题的方法.我开始了解java中的解决方案,但我不知道我们是如何在python中完成的.

    PROXY_HOST = "65.49.1.59"
    PROXY_PORT = 60099
    fp = webdriver.FirefoxProfile()
    # Direct = 0, Manual = 1, PAC = 2, AUTODETECT = 4, SYSTEM = 5

    print " im in parse_details"

    fp.set_preference("network.proxy.type", 1)
    fp.set_preference('network.http.phishy-userpass-length', 255)

    fp.set_preference("network.proxy.http", PROXY_HOST)
    fp.set_preference("network.proxy.http_port", PROXY_PORT)
    fp.set_preference("network.proxy.ftp", PROXY_HOST)
    fp.set_preference("network.proxy.ftp_port", PROXY_PORT)
    fp.set_preference("network.proxy.ssl", PROXY_HOST)
    fp.set_preference("network.proxy.ssl_port", PROXY_PORT)
    #fp.set_preference("network.proxy.user_name", 'someusername')
    #fp.set_preference("network.proxy.password", 'somepassword')
    fp.set_preference("network.proxy.no_proxies_on", "") # set this value as desired

    self.driver = webdriver.Firefox(firefox_profile=fp)
    self.driver.get("http://www.whatismyip.com/")

以下这些陈述是我猜到的,我不确定他们的语法是否正确,即使我试图在selenium文档中找到,但没有帮助.你们会对此有所了解吗？

    #fp.set_preference("network.proxy.user_name", 'someusername')
    #fp.set_preference("network.proxy.password", 'somepassword')

ps同样的问题在这里问Selenium使用Python:输入/提供firefox的http代理密码

Answer 1

Selenium无法处理基本身份验证,也不适用于弹出窗口.但这个问题是可以解决的.作为一个对我有用的解决方案(我在这里找到)是添加一个浏览器扩展,为Selenium进行身份验证.这很简单.以下是Chrome和Python的工作原理:

1. 创建一个包含两个文件的zip文件proxy.zip:

background.js

var config = {
    mode: "fixed_servers",
    rules: {
      singleProxy: {
        scheme: "http",
        host: "YOU_PROXY_ADDRESS",
        port: parseInt(YOUR_PROXY_PORT)
      },
      bypassList: ["foobar.com"]
    }
  };

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
    return {
        authCredentials: {
            username: "YOUR_PROXY_USERNAME",
            password: "YOUR_PROXY_PASSWORD"
        }
    };
}

chrome.webRequest.onAuthRequired.addListener(
        callbackFn,
        {urls: ["<all_urls>"]},
        ['blocking']
);

不要忘记将YOUR_PROXY_*替换为您的设置.

的manifest.json

{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "<all_urls>",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    },
    "minimum_chrome_version":"22.0.0"
}

2. 将创建的proxy.zip添加为扩展名

Python代码:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_extension("proxy.zip")

driver = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)
driver.get("http://google.com")
driver.close()

而已.对我而言,就像一个魅力.如果您需要动态创建proxy.zip或需要PHP示例,请转到原始帖子

Answer 2

我知道回答你的问题已经很晚了，但最近我开始使用 Python，并试图做同样的事情，并做了类似的事情来处理这种情况。

在代理服务器后面运行 selenium Web 驱动程序

1. 需要创建一个 Firefox 配置文件，其中应安装“autoauth”插件。
2. 尝试通过手动点击 URL 来保存代理服务器用户名和密码。
3. Firefox 配置文件将在自动身份验证的帮助下保存代理服务器的凭据
4. 在脚本中调用特定的 Firefox 配置文件。
5. 设置所有首选项以定义代理服务器详细信息。
6. 将 Firefox 配置文件分配给浏览器实例
7. 点击任意 URL，下面是运行示例

附：从互联网选项中删除所有代理设置，脚本将自动使用它

因此，从技术上讲，您不会发送代理用户名和密码，您将在 Firefox 中保存这些凭据并调用该特定的 Firefox 配置文件。

希望您很久以前就已经解决了您的问题，但如果它仍然存在，这可能会对您有所帮助。:)