我试图用JSoup限制下载的页面/链接的大小,给出类似下面的内容(Scala代码):
val document = Jsoup.connect(theURL).get();
我只想获得给定页面的前几KB,并停止尝试下载.如果有一个非常大的页面(或者theURL是一个不是html的链接,并且是一个大文件),我不想花时间下载其余的.
我的用例是IRC机器人的页面标题snarfer.
奖金问题:
有什么理由Jsoup.connect(theURL).timeout(3000).get();不在大文件上超时吗？如果某人粘贴了一个永无止境的音频流或大型ISO(可以通过在不同的线程中获取URL标题(或使用Scala actor并在那里计时)来解决它,最终会导致机器人ping通),但是当我认为timeout()应该完成相同的最终结果时,对于一个非常简单的机器人来说似乎有些过分了.
jsoup ×1