jsoup没有获得完整的数据

Question

我有一个学校的项目来解析Web代码并像数据库一样使用它.当我试图从(https://www.marathonbet.com/en/betting/Football/)中删除数据时,我没有得到所有这些？

这是我的代码:

Document doc = Jsoup.connect("https://www.marathonbet.com/en/betting/Football/").get();
Elements newsHeadlines = doc.select("div#container_EVENTS");

for (Element e: newsHeadlines.select("[id^=container_]")) {
    System.out.println(e.select("[class^=block-events-head]").first().text());
    System.out.println(e.select("[class^=foot-market]").select("[class^=event]").text());
} 

得到的结果(这是显示的联赛的最后一个):

Football. Friendlies. Internationals All bets Main bets
1. USA 2. Mexico 16 Apr 01:30 +124 7/5 23/10 111/50 +124

在她之上显示所有联赛.

为什么我没有获得完整数据？感谢您的时间!

Answer 1

Jsoup的默认身体响应限制为1MB.您可以使用maxBodySize(int)将其更改为您需要的任何内容

设置在连接关闭之前从(未压缩)连接读取到正文中的最大字节数,并将输入截断.默认最大值为1MB.最大值为零被视为无限量(仅限于您的耐心和机器上可用的内存).

例如:

Document doc = Jsoup.get(url).userAgent(ua).maxBodySize(0).get();

您可能希望查看Connection中的其他选项,如何设置请求超时,用户代理等.