Java HttpClient 似乎正在缓存内容

Question

我正在构建一个简单的网络爬虫，我需要获取同一个页面几百次，并且页面中有一个动态属性，应该在每次请求时更改。我已经构建了一个基于多线程 HttpClient 的类来处理请求，我正在使用 anExecutorService来创建线程池并运行线程。问题是动态属性有时不会在每个请求上改变，我最终会在 3 或 4 个后续线程上获得相同的值。我已经阅读了很多关于 HttpClient 的文章，但我真的找不到这个问题的来源。可能是关于缓存的东西，或者类似的东西！？

更新：这是在每个线程中执行的代码：

HttpContext localContext = new BasicHttpContext();

HttpParams params = new BasicHttpParams();
HttpProtocolParams.setVersion(params, HttpVersion.HTTP_1_1);
HttpProtocolParams.setContentCharset(params,
        HTTP.DEFAULT_CONTENT_CHARSET);
HttpProtocolParams.setUseExpectContinue(params, true);

ClientConnectionManager connman = new ThreadSafeClientConnManager();

DefaultHttpClient httpclient = new DefaultHttpClient(connman, params);

HttpHost proxy = new HttpHost(inc_proxy, Integer.valueOf(inc_port));
httpclient.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY,
        proxy);

HttpGet httpGet = new HttpGet(url);
httpGet.setHeader("User-Agent",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)");

String iden = null;
int timeoutConnection = 10000;
HttpConnectionParams.setConnectionTimeout(httpGet.getParams(),
        timeoutConnection);

try {

    HttpResponse response = httpclient.execute(httpGet, localContext);

    HttpEntity entity = response.getEntity();

    if (entity != null) {

        InputStream instream = entity.getContent();
        String result = convertStreamToString(instream);
        // System.out.printf("Resultado\n %s",result +"\n");
        instream.close();

        iden = StringUtils
                .substringBetween(result,
                        "<input name=\"iden\" value=\"",
                        "\" type=\"hidden\"/>");
        System.out.printf("IDEN:%s\n", iden);
        EntityUtils.consume(entity);
    }

}

catch (ClientProtocolException e) {
    // TODO Auto-generated catch block
    System.out.println("Excepção CP");

} catch (IOException e) {
    // TODO Auto-generated catch block
    System.out.println("Excepção IO");
}

Answer 1

HTTPClient 默认不使用缓存（DefaultHttpClient仅当您使用类时）。它这样做，如果您使用CachingHttpClientwhich is HttpClientinterface decorator 启用缓存：

HttpClient client = new CachingHttpClient(new DefaultHttpClient(), cacheConfiguration);

然后，它分析If-Modified-Since和If-None-Match标头以确定是否执行对远程服务器的请求，或者是否从缓存返回其结果。

我怀疑，您的问题是由位于您的应用程序和远程服务器之间的代理服务器引起的。

您可以使用curl应用程序轻松测试它；执行一些省略代理的请求：

#!/bin/bash

for i in {1..50}
do
  echo "*** Performing request number $i"
  curl -D - http://yourserveraddress.com -o $i -s
done

然后，diff在所有下载的文件之间执行。他们都应该有你提到的差异。然后，-x/--proxy <host[:port]>为 curl添加选项，执行此脚本并再次比较文件。如果某些响应与其他响应相同，那么您可以确定这是代理服务器问题。

Answer 2

一般来说，为了测试是否通过网络发出 HTTP 请求，您可以使用分析网络流量的“嗅探”工具，例如：

• Fiddler ( http://fiddler2.com/fiddler2/ ) - 我会从这个开始
• Wireshark ( http://www.wireshark.org/ ) - 更底层

我非常怀疑 HttpClient 正在执行任何类型的缓存（这意味着它需要将页面存储在内存或磁盘上 - 这不是它的功能之一）。

虽然这不是答案，但值得思考：服务器（或中间的某些代理）是否有可能返回缓存的内容？如果您对同一内容执行多个请求（同时或几乎同时），服务器可能会返回您缓存的内容，因为它确定该信息尚未“过期”。事实上，HTTP 协议为此类功能提供了缓存指令。以下站点提供了不同 HTTP 缓存机制的高级概述：

http://betterexplained.com/articles/how-to-optimize-your-site-with-http-caching/

我希望这能为您提供一个起点。如果您已经考虑过这些途径，那就太好了。