有一个我试图抓取的网站,首先加载一个html/js使用js然后POST修改表单输入字段.如何获取POSTed页面的最终html输出?
我尝试用phantomjs做这个,但它似乎只有渲染图像文件的选项.谷歌搜索表明它应该是可能的,但我无法弄清楚如何.我的尝试:
var page = require('webpage').create();
var fs = require('fs');
page.open('https://www.somesite.com/page.aspx', function () {
page.evaluate(function(){
});
page.render('export.png');
fs.write('1.html', page.content, 'w');
phantom.exit();
});
Run Code Online (Sandbox Code Playgroud)
这段代码将用于客户端,我不能指望他安装太多的包(nodejs,casperjs等)
谢谢
我一直在使用HtmlUnit(开发人员做得很好)作为我之前的一些应用程序的无头浏览器,但javascript支持不适用于我的下一个应用程序将访问的某个网站.
我听说过关于Python的QtWebKit绑定,但是我的应用程序是Java,还是WebKit或QtWebKit的Java绑定?
有没有人知道一个良好的无头浏览器的Java与完整的JavaScript支持?
我有一个测试系统,这是一个视频广告发布技术.我需要像1-2分钟一样加载每个视频来投放广告.这些视频在Flash客户端中播放,并像YouTube一样以FLV流形式流式传输.
我之所以需要仅通过浏览器测试它 - 以及其他所有方法都无法正常工作 - 的原因是同时对视频流服务器和广告服务器进行压力测试并实时显示广告.
我使用过Selenium,WatiN,Automation Anywhere和许多其他自动化工具.但是,当我尝试在我的机器上启动10000个浏览器(32GB RAM,16核CPU)时,他们都无法完成这项工作.
使用Selenium,我能够启动目前为止最大的FireFox实例,但这仍然太低:一半实例不运行测试.
有关Selenium的任何建议吗?
我正在开发一个新项目,包括获取一个网页,(使用PHP和cURL)解析HTML和javascript,然后处理结果中的数据.
当网站使用javascript通过AJAX获取数据时,基本上我碰到了一堵砖墙.在这种情况下,除非javascript在浏览器中运行,否则初始数据不会出现在获取的页面中.
这有什么PHP库吗?(我怀疑不是,但我可能是错的.)
我真的宁愿将其构建为基于服务器的解决方案,否则我不得不为此构建一个应用程序并使用mozilla和/或IE运行时库 - 这种目的无法实现.