Jsoup select不返回所有节点

Question

我刚刚开始在这个网站上使用jsoup,并且发生了一些奇怪的事情.

我想要的是选择列标题下的文本,您可以使用以下html找到它:

<div class="Table1_A1 grow clear-fix">
    <div class="grd-col grd-col-1a"> … </div>
    <div class="grd-col grd-col-2b">
       <p>
         <span class="T1">
                <a href="...."> TITLE TEXT IS HERE
                </a>
          </span>
        </p>
     </div>
     ...
</div>

看看这个html结构,我想出了以下jsoup选择:

try {
  Document htmlDocument = Jsoup.connect(url).get();
  Elements as = htmlDocument.select("div.grow > div.grd-col-2b > p > span.T1 > a");
  System.out.println(as.html());

} catch (IOException e) {
    e.printStackTrace();
}

事情就是这样:它只打印到标题"尽快",但之后有负载,它们根本就没有出现.所以我想知道,jsoup".select()"对它返回的节点有限制吗？我不知道如何解决这个问题,任何帮助都非常感激.

Answer 1

Jsoup对选择没有限制,但是请求的主体大小有1MB的默认限制.这应该可以解决问题:

Document doc = Jsoup.connect(url).timeout(60000).maxBodySize(10*1024*1024).get();