爬网

Tod*_*dly 12 nlp information-retrieval web-crawler text-mining

我想抓取特定的东西.特别是正在发生的事件,如音乐会,电影,艺术画廊开放等等.任何可能花时间去的东西.

如何实现爬虫?

我听说过Grub(grub.org - > Wikia)和Heritix(http://crawler.archive.org/)

还有其他人吗?

每个人都有什么意见?

-Jason

Fab*_*eeg 10

该主题的优秀介绍性文本是信息检索简介(在线提供全文).它有一章关于Web爬网,但也许更重要的是,它为您希望对已爬网文档执行的操作提供了基础.

信息检索简介http://nlp.stanford.edu/IR-book/iir.jpg

  • 神奇的书. (2认同)

tva*_*son 5

无论你做什么,请成为一个好公民并遵守robots.txt文件.您可能希望检查维基百科页面上有关聚焦爬虫的参考文献.刚才意识到我知道Topical Web Crawlers的作者之一:评估自适应算法.小世界.