相关疑难解决方法(0)

java.net.URLConnection在这里经常询问使用情况,Oracle教程对此非常简洁.

该教程基本上只显示了如何触发GET请求并读取响应.它没有解释如何使用它来执行POST请求,设置请求标头,读取响应标头,处理cookie,提交HTML表单,上传文件等.

那么,我如何使用java.net.URLConnection触发和处理"高级"HTTP请求？

在搜索SO和Google时,我发现有一些Java HTML解析器一直被各方推荐.不幸的是,很难找到有关各种图书馆优势和劣势的任何信息.我希望有些人花了一些时间来比较这些库,并且可以分享他们学到的东西.

这是我见过的:

• JTidy
• NekoHTML
• jsoup
• TagSoup

如果有一个我错过的主要解析器,我也很想知道它的优点和缺点.

谢谢!

嘿,我正试图从推特个人资料页面获取html,但httpurlconnection只返回一小段html.我的代码

for(int i = 0; i < urls.size(); i++)
{
URL url = new URL(urls.get(i));
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
connection.setRequestProperty("User-Agent","Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.6) Gecko/20100625 Firefox/3.6.6");
System.out.println(connection.getResponseCode());
String line;
StringBuilder builder = new StringBuilder();
BufferedReader reader = new BufferedReader(new InputStreamReader(connection.getInputStream()));
while((line = reader.readLine()) != null)
{
    builder.append(line);
}
String html = builder.toString();
}

我总是得到200作为每次通话的响应代码.然而,大约1/3的时间返回整个html文档,而另一半只返回前几百行.html被截止时返回的数量并不总是相同的.

有任何想法吗？谢谢你的帮助!

附加信息:查看标题后,我似乎得到重复的内容长度标题.第一个是全长,另一个是更短(并且可能代表我在某些时候得到的长度)如何处理重复的标题？