Boo*_*ean 22 text wikipedia information-retrieval web-crawler
我希望为我的大学项目下载完整的维基百科文本.我是否必须编写自己的蜘蛛才能下载此文件,或者是否有在线提供维基百科的公共数据集？
为了给你一些关于我的项目的概述,我想找出我感兴趣的一些文章中有趣的单词.但是为了找到这些有趣的单词,我打算用tf/idf来计算每个单词的术语频率并选择高频率的.但是要计算tf,我需要知道整个维基百科的总发生次数.
如何才能做到这一点？
Sam*_*der 25
来自维基百科:http: //en.wikipedia.org/wiki/Wikipedia_database
维基百科为感兴趣的用户提供所有可用内容的免费副本.这些数据库可用于镜像,个人使用,非正式备份,离线使用或数据库查询(例如维基百科:维护).所有文本内容均根据Creative Commons Attribution-ShareAlike 3.0许可证(CC-BY-SA)和GNU自由文档许可证(GFDL)进行多次许可.图像和其他文件以不同的术语提供,详见其描述页面.有关遵守这些许可证的建议,请参阅维基百科:版权.
似乎你也很幸运.从转储部分:
截至2010年3月12日,英语维基百科的最新完整转储可在http://download.wikimedia.org/enwiki/20100130/找到. 这是已创建的英语维基百科的第一个完整转储自2008年以来.请注意,更新的转储(例如20100312转储)不完整.
所以数据只有9天了:)
小智 11
如果您需要纯文本版本而不是Mediawiki XML,那么您可以在此处下载:http: //kopiwiki.dsd.sztaki.hu/