Java-如何使用Firebug或任何Java库从URL获取HTML代码,包括其AJAX生成的代码

Question

我需要从Web获取代码,这部分是"纯HTML",部分是用AJAX,Javascript生成的HTML.

由于获取它的最简单方法似乎是使用Firebug,我认为它必须存在一些方法来使用Firebug或它的一些插件才能从Java代码中执行它.

我遇到的问题是,在搜索了许多网站和门户网站后,我什么也没找到.

任何人都知道某种方式/某些插件...这使得这个AJAX生成的代码与静态HTML混合成为可能,就像Firebug一样？

谢谢,请原谅我的英语.

Answer 1

Abhijeet 的思路有点正确，但我将花时间解释浏览器如何处理网页，并帮助您理解为什么您的请求如此困难。

警告这很粗糙，为了简洁和清晰，我捏造了一些细节

浏览器连接到服务器并使用 HTTP 来检索您请求的页面。下载该页面后，浏览器会搜索该页面中引用的任何其他资源并检索它们。然后它从上到下执行它找到的任何 javascript，包括任何引用的脚本。此 JavaScript 可以操作页面，但此时，浏览器不太关心页面的原始源代码，已将其内部化为 DOM 或文档对象模型。JavaScript 实际上只是操作这个 DOM，因为 DOM 只是一个树结构，不做任何源代码操作。因此，firebug（或 webkit 检查器）实际上并不显示源代码，它们显示 DOM 当前状态的表示。

您的请求的问题是您想要使用单独的系统来加载 url，然后完成上面的整个过程，不幸的是，这需要您在 Java 中实现整个 javascript 引擎。

然而，一切并没有失去。HTMLUnit（其他人提到过）是一个可用的无头浏览器，用 Java 编写，因此您可以将其集成到您的程序中。实际上这样做超出了本答案的范围，但主页位于此处，API 文档位于此处。