如何使用Python解析无限滚动页面(例如Wallbase.cc/search/sky)?

Rev*_*3rb 6 python mechanize beautifulsoup html-parsing

不确定是否有任何与Mechanize或BeautifulSoup有关的东西可以提供帮助.任何建议将不胜感激!

dm0*_*514 3

Mechanize 和 Beautiful soup 无法与用于无限滚动的 javascript 交互。

硒可以。

此外,如果您在使用无限滚动时查看 ajax 请求,您将看到带有http://wallbase.cc/search/160请求数据的 post 请求:

query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc
Run Code Online (Sandbox Code Playgroud)

160 对应于图像范围,因此之前的请求是wallbase.cc/searc/128.