我如何获得由javascript生成的HTML?

Mix*_*Mix 2 html javascript

我知道标题不是很清楚所以我会举一个例子:有网站A和网站B,让我们说它们是金融网站.我需要来自这两个网站的一页(关于意大利比萨报价的页面),比较一些价值并知道在哪里以及何时以更高的价格出售意大利比萨饼.网站A的一切都非常简单,因为它不使用javascript并使用浏览器并点击语音菜单"意大利>意大利比萨饼",我找到了我需要的www.siteA.com/italy/italianPizzaValues网址.相反,当我浏览网站B时,点击语音菜单意大利将重定向到www.siteB.com/italy.do并点击意大利菜单上的声音如Pasta和Pizza不会更改网址但只是调用javascript函数(通常非常复杂的).因此,对于站点A,我使用libcurl下载页面www.siteA.com/italy/italianPizzaValues然后我解析它.我应该如何处理网站B以获得相同的结果并知道我对B网站的意大利比萨价值?

Asa*_*aph 5

The Productive Programmer中,Neal Ford建议将Selenium用于非测试目的,例如你的.Selenium通过自动化与Web浏览器的交互来工作.它专为测试目的而设计,但可用于Neal Ford建议的其他用途.使用Selenium IDE,您可以记录与网页的交互,引用HTML元素(包括由javascript呈现的元素),然后将生成的代码导出为几种高级编程语言之一(Java,.Net,PHP,Python,Perl)或者Ruby).