Apache HTTPClient抛出java.net.SocketException:许多域的连接重置

Question

我正在创建一个(表现良好的)网络蜘蛛,我注意到一些服务器导致Apache HttpClient给我一个SocketException - 具体来说:

java.net.SocketException: Connection reset

导致这种情况的代码是:

// Execute the request
HttpResponse response; 
try {
    response = httpclient.execute(httpget); //httpclient is of type HttpClient
} catch (NullPointerException e) {
    return;//deep down in apache http sometimes throws a null pointer...  
}

对于大多数服务器来说,它很好.但对于其他人来说,它会立即抛出SocketException.

导致立即发生SocketException的站点示例:http://www.bhphotovideo.com/

效果很好(和大多数网站一样):http://www.google.com/

现在,正如您所看到的,www.bhphotovideo.com在Web浏览器中加载正常.当我不使用Apache的HTTP客户端时,它也可以正常加载.(像这样的代码:)

 HttpURLConnection c = (HttpURLConnection)url.openConnection();  
 BufferedInputStream in = new BufferedInputStream(c.getInputStream());  
 Reader r = new InputStreamReader(in);     

 int i;  
 while ((i = r.read()) != -1) {  
      source.append((char) i);  
 }  

那么,为什么我不只是使用这个代码呢？那么我需要使用Apache的HTTP客户端中的一些关键功能.

有谁知道是什么原因导致某些服务器导致此异常？

迄今为止的研究:

• 我的本地Mac dev计算机和AWS EC2实例出现问题,因此它不是本地防火墙.

• 似乎错误不是由远程机器引起的,因为异常没有说"by peer"

• 这个堆栈溢出似乎是相关的java.net.SocketException:连接重置但是答案没有说明为什么这只会从Apache HTTP Client而不是其他方法发生.

奖金问题:我正在用这个系统进行大量的爬行.除了Apache HTTP Client之外,通常还有更好的Java类吗？我发现了一些问题(例如我必须在上面的代码中捕获的NullPointerException).似乎HTTPClient对于服务器通信非常挑剔 - 对于一个不能在服务器不运行时破坏的爬虫来说,这比我想要的更挑剔.

谢谢大家!

解

老实说,我没有完美的解决方案,但它确实有效,所以这对我来说已经足够了.

正如下面的oleg所指出的,Bixo创建了一个爬虫程序,可以自定义HttpClient以更加宽容服务器.为了"解决"这个问题而不是修复它,我刚刚使用了Bixo提供的SimpleHttpFetcher :(链接删除 - SO认为我是垃圾邮件发送者,所以你必须自己谷歌)

SimpleHttpFetcher fetch = new SimpleHttpFetcher(new UserAgent("botname","contact@yourcompany.com","ENTER URL"));
try {
    FetchedResult result = fetch.fetch("ENTER URL");
    System.out.println(new String(result.getContent()));
} catch (BaseFetchException e) {
    e.printStackTrace();
}

这个解决方案的缺点是Bixo有很多依赖性 - 所以这对每个人来说可能都不是一个好的工作.但是,您可以随时使用DefaultHttpClient,并查看它们如何实例化它以使其工作.我决定使用整个类,因为它为我处理一些事情,比如自动重定向跟随(并报告最终目标URL),这是有帮助的.

谢谢大家的帮助.

编辑:TinyBixo

大家好.所以,我喜欢Bixo如何工作,但不喜欢它有如此多的依赖(包括所有的Hadoop).所以,我创建了一个非常简化的Bixo,没有所有依赖项.如果您遇到上述问题,我建议您使用它(如果您想更新它,请随时提出拉取请求!)

它可以在这里找到:https://github.com/juliuss/TinyBixo

Answer 1

首先，回答您的问题：

连接重置是由服务器端的问题引起的。服务器很可能无法解析该请求或无法处理该请求，并因此在没有返回有效响应的情况下断开了连接。HttpClient生成的HTTP请求中可能导致服务器逻辑失败的原因可能是服务器错误。仅仅因为错误消息没有说“ by peer”，并不意味着连接重置发生在客户端。

几点评论：

（1）诸如bixo http://openbixo.org/之类的几种流行的Web爬网程序使用HttpClient时没有出现重大问题，但是其中许多人不得不调整HttpClient的行为以使其对常见的HTTP协议违规行为更为宽大。默认情况下，HttpClient在HTTP协议遵从性方面非常严格。

（2）为什么不向HttpClient项目报告NPE问题或您遇到的任何其他问题？