我怎样才能获得所有页面内容？

Question

我想获取网站的所有页面内容示例:http://academic.research.microsoft.com/Author/1789765/hoang-kiem ？ query = ohang%20kiem

我用过这段代码:

 String getResults(URL source) throws IOException {

        InputStream in = source.openStream();
        StringBuffer sb = new StringBuffer();
        byte[] buffer = new byte[256];
        while(true) {
            int bytesRead = in.read(buffer);
            if(bytesRead == -1) break;
            for (int i=0; i<bytesRead; i++)
                sb.append((char)buffer[i]);
        }
        return sb.toString();
    }

但结果遗漏了一些信息,如信息,一些关于作者的提示,如下所示

你能给我一些建议吗？谢谢

Answer 1

作者详细信息由ajax调用加载(单击firebug中的"Net"选项卡并重新加载页面).如果要获取这些详细信息,则必须在将执行javascript的环境中加载页面(即:浏览器).