相关疑难解决方法(0)

如何在OperaDriver中启用内置VPN?

歌剧浏览器具有内置的VPN,可让您在浏览时隐藏IP。我的问题是在将OperaDriver与python中的硒一起使用时能否打开VPN?

尝试和问题的详细说明:

我有这个脚本,可以去网站显示我的IP地址。

from selenium import webdriver
from selenium.webdriver.opera.options import Options
from time import sleep
driver = webdriver.Opera(executable_path=r'/path/to/operadriver')
driver.get('https://whatismyipaddress.com')
sleep(10)
driver.quit() 
Run Code Online (Sandbox Code Playgroud)

当我在启用了VPN的Opera浏览器上访问此站点时,我的IP被屏蔽,并显示一些其他IP地址。但是我的脚本打开了浏览器以显示我的真实IP地址。

我已经在SO以及其他站点上搜索了OperaDriver上的几乎所有问题。似乎绝对没有文档或任何与此相关的其他问题。

我最接近的是github上的此功能请求。OP表示,他可以通过使用OperaOptions加载自定义配置文件来使其工作。链接中发布的代码是

OperaOptions operaOptions = new OperaOptions();
operaOptions.addArguments("user-data-dir", "~/Library/Application Support/com.operasoftware.Opera");
driver = new OperaDriver(operaOptions);
Run Code Online (Sandbox Code Playgroud)

我试图在python中执行此操作,但没有任何结果。如果有任何问题,我可以使用Ubuntu 16.04,并且OperaDriver是从官方github页面下载的。Python版本为,3.6.7而Opera版本57.0.3098.116Ubuntu 16.04 LTS (x86_64; Unity)

python opera selenium web-scraping

5
推荐指数
1
解决办法
928
查看次数

Python 3:使用请求无法获取网页的全部内容

我正在测试使用该requests模块来获取网页的内容。但是,当我查看内容时,我发现它没有获得页面的全部内容。

这是我的代码:

import requests
from bs4 import BeautifulSoup

url = "https://shop.nordstrom.com/c/womens-dresses-shop?origin=topnav&cm_sp=Top%20Navigation-_-Women-_-Dresses&offset=11&page=3&top=72"
page = requests.get(url)

soup = BeautifulSoup(page.content, 'html.parser')
print(soup.prettify())
Run Code Online (Sandbox Code Playgroud)

同样,在chrome浏览器中,如果我查看页面源,则看不到全部内容。

有没有办法获取我提供的示例页面的全部内容?

python web-scraping python-requests

3
推荐指数
1
解决办法
3611
查看次数

标签 统计

python ×2

web-scraping ×2

opera ×1

python-requests ×1

selenium ×1