相关疑难解决方法(0)

Selenium是否支持无头浏览器测试?

我现在正在看Selenium Server,我似乎没有注意到支持无头浏览器测试的驱动程序.

除非我弄错了,否则它不支持它.如果你在X上,你可以创建一个虚拟帧缓冲来隐藏浏览器窗口,但这不是一个真正的无头浏览器.

任何人都可以开导我吗?Selenium是否支持无头浏览器测试?

selenium automated-tests unit-testing headless-browser selenium-webdriver

70
推荐指数
5
解决办法
5万
查看次数

从具有大量Javascript的网页进行屏幕抓取

我被要求编写一个应用程序,该应用程序屏幕从内部网页面抓取信息,并以易于查看的格式呈现其中的特定信息.网页是一个真正的混乱,需要用户点击六个图标来发现订购的商品是否已经到达或已被收到.正如你可以想象的那样,用户发现这至少令人恼火,并且拥有一个任何人都可以使用的应用程序,在单个屏幕中列出他们的订单状态会很不错.

是的,我知道一个更好的解决方案是重新编写网络应用程序,但这将涉及到供应商,并将花费我们作为小财富.

无论如何,在我看到这个时,我发现我想要抓取的网页主要是Javascript(虽然它不使用任何AJAX技术).有没有人知道是否存在我可以使用Javascript提供的库或程序,然后会为我的应用程序解析DOM?

我几乎可以用任何语言编写应用程序,但我的偏好是JavaFX,所以我可以玩它.

谢谢你的时间.

伊恩

html javascript dom screen-scraping

17
推荐指数
2
解决办法
2万
查看次数

使用Selenium WebDriver和Java滚动

我正在使用Selenium WebDriver自动化我的浏览器测试. 我的浏览器标题是浮动的,无论浏览器滚动如何,它总是存在.

因此,当我单击浏览器当前可见区域下方的某些元素时,selenium会尝试将元素滚动到视图中并单击它们.

但是由于自动滚动,因此元素在浮动标题后面滚动,当对它们执行任何操作时,页面标题中的元素被单击.

有没有办法限制WebDriver的默认滚动

java selenium webdriver selenium-webdriver

11
推荐指数
1
解决办法
6万
查看次数

python urllib2 - 在抓取之前等待页面完成加载/重定向?

我正在学习制作网络抓取工具,并希望抓住TripAdvisor的个人项目,使用urllib2抓取html.但是,我遇到了一个问题,使用下面的代码,我回来的html是不正确的,因为页面似乎需要一秒钟重定向(你可以通过访问网址验证这一点) - 而是我得到的代码从最初短暂出现的页面.

是否有一些行为或参数要设置以确保页面在获取网站内容之前已完全加载/重定向?

import urllib2
from bs4 import BeautifulSoup

bostonPage = urllib2.urlopen("http://www.tripadvisor.com/HACSearch?geo=34438#02,1342106684473,rad:S0,sponsors:ABEST_WESTERN,style:Szff_6")
soup = BeautifulSoup(bostonPage)
print soup.prettify()
Run Code Online (Sandbox Code Playgroud)

编辑:答案是彻底的,但是,最终解决了我的问题是:https: //stackoverflow.com/a/3210737/1157283

python urllib2

9
推荐指数
1
解决办法
1万
查看次数