检查链接是否损坏

Question

我试图使用Java在网页中找到所有损坏的链接.这是代码:

   private static boolean isLive(String link){

    HttpURLConnection urlconn = null;
    int res = -1;
    String msg = null;
    try{

        URL url = new URL(link);
        urlconn = (HttpURLConnection)url.openConnection();
        urlconn.setConnectTimeout(10000);
        urlconn.setRequestMethod("GET");
        urlconn.connect();
        String redirlink = urlconn.getHeaderField("Location");
        System.out.println(urlconn.getHeaderFields());
        if(redirlink != null && !url.toExternalForm().equals(redirlink))
            return isLive(redirlink);
        else
            return urlconn.getResponseCode()==HttpURLConnection.HTTP_OK;

    }catch(Exception e){

      System.out.println(e.getMessage());
      return false;

    }finally{

        if(urlconn != null)
            urlconn.disconnect();

    }


}

public static void main(String[] s){

    String link = "http://www.somefakesite.net";
    System.out.println(isLive(link));

}

代码参考http://nscraps.com/Java/146-program-code-broken-link-checker.htm.

此代码为所有网页(包括损坏的网页)提供HTTP 200状态.例如, http://www.somefakesite.net/提供以下标题字段:

{null = [HTTP/1.1 200 OK],Date = [Sun,2011年5月15日18:51:29 GMT],Transfer-Encoding = [chunked],Keep-Alive = [timeout = 4,max = 100],Connection = [Keep-Alive],Content-Type = [text/html],Server = [Apache/2.2.15(Win32)PHP/5.2.12],X-Powered-By = [PHP/5.2.9-1] }

即使这些网站不存在,如何将其归类为断链？

Answer 1

也许问题在于，目前许多网络服务器和 DNS 提供商都会检测到这些“损坏”的链接，并将您重定向到他们的“未找到”页面。

针对您知道发送 404 代码的 URL 进行测试（它显示浏览器原始消息）。

编辑以回答作者的评论（因为它太长，无法容纳评论）：我没有看到您的问题的简单答案，但有几种不同类型的失败：

• 对于重定向的 DNS 故障（DNS 无法找到 URL，并且您被重定向到另一个页面）。所有重定向（如果您被重定向）可能会转到同一页面（由您的 ISP/DNS 提供商提供），您可以检查这一点。当然，如果您尝试使用其他 ISP/DNS 提供商，页面可能会有所不同。如果您没有被重定向，那么您将收到连接错误。
• 对于具有有效 DNS 但无法正常工作的服务器（例如 google.com 出现故障），应该会出现连接错误。
• 对于服务器中缺少的资源（“页面”），则更加困难。404 意味着它已损坏，但如果服务器不发送它，则无需执行更多操作。重定向可能有助于将链接标记为可疑，但应该稍后手动检查，因为它不仅用于捕获丢失的链接（例如，www.google.com 将我重定向到 www.google.es）