JSoup 不遵循重定向并且不获取某些 URL 的所有内容

Question

Android 上的 JSoup 没有遵循重定向和/或没有获取所有内容，即使我使用 mobile.twitter.com 也是如此。我知道有可能我只是不知道我做错了什么。

我试过的网址是

https://mobile.twitter.com/BillGates/status/493831856781926402

https://twitter.com/BillGates/status/493831856781926402

private Document getWebPage(String url) {
        Document doc = null;        
        try {
            doc = Jsoup.connect(url).get();
        } catch (IOException e) {
            e.printStackTrace();
        }
        Log.d(TAG, "Received site: " + doc.html()); // TODO delete this debug line when done
        return doc;
    }

Answer 1

正如 Daniel B 所说，找出正确的 UserAgent 用于正确跟踪重定向/从 URL 获取所有内容。

我用过的最好的 UserAgents 如下。

Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.120 Safari/535.2").get();