我想写一个抓取脚本来从cnn文章中检索评论.例如,这篇文章:http://www.cnn.com/2012/01/19/politics/gop-debate/index.html?hpt=hp_t1
我意识到cnn使用disqus进行评论讨论.由于评论加载不是基于网页的(即上一页,下一页)并且是动态的(即需要点击"下一个加载25"),我不知道如何检索本文的所有5000多条评论.
有什么想法或建议吗?
非常感谢!
disqus web-scraping
disqus ×1
web-scraping ×1