使用Jsoup解析网站,在用户滚动时动态加载

Question

我正在开发一个项目,通过使用Jsoup解析网站来显示歌曲名称和该歌曲的链接.唯一的问题是,我只能从该网站获得我想要的前10个元素,因为当您向下滚动时,网站会生成更多元素.我正在尝试解析的特定网站是一个名为TrappedIO的音乐网站.您在浏览网站时会注意到,当您向下滚动时,会出现更多歌曲名称和图像.当我在chrome中使用inspect元素时,我看到当我滚动时,它会生成更多我正在尝试解析的元素.

我正在解析的CSS路径:#content> div.container> div> div:nth-​​child(元素索引)

问题是当我使用这种方法使用Jsoup获取此网站时,

Document doc = Jsoup.connect(url).get();

HTML从Jsoup返回:引擎收录

只返回我要解析的前10个元素以及所有其他HTML.更具体地说,我在AsyncTask中使用Jsoup进行解析,然后使用已解析的数据填充ListView.

有任何想法吗？有关如何一次加载所有内容的任何建议？任何回复都非常感谢,谢谢.

Answer 1

非常简单，要获得下一组 10 个，只需点击以下内容

http://trapped.io/?page=2

概括来说，只需在查询参数中输入正确的页码page=PAGE_NUMBER，您就可以在该页面中获取一组 10 个元素。

编辑：

顺便说一句，抓取网站可能会存在法律问题。我希望您已经仔细检查过在他们的网站上进行抓取是否合法。