如何刮取网页内容然后计算R中的单词频率？

Question

这是我的代码:

library(XML)
library(RCurl)
url.link <- 'http://www.jamesaltucher.com/sitemap.xml'
blog <- getURL(url.link)
blog          <- htmlParse(blog, encoding = "UTF-8")
titles  <- xpathSApply (blog ,"//loc",xmlValue)             ## titles

traverse_each_page <- function(x){
  tmp <- htmlParse(x)
  xpathApply(tmp, '//div[@id="mainContent"]')
}
pages <- lapply(titles[2:3], traverse_each_page)

这是伪代码:

1. 拿一个xml文档: http://www.jamesaltucher.com/sitemap.xml
2. 转到每个链接
3. 解析每个链接的html内容
4. 提取里面的文字 div id="mainContent"
5. 计算所有文章显示的每个单词的频率,不区分大小写.

我已设法完成步骤1-4.我需要一些帮助.5.

基本上,如果"the"这个词在第1条中出现两次而在第2条中出现了5次.我想知道"the"在2篇文章中总共出现了7次.

另外,我不知道如何查看我提取的内容pages.我想学习如何查看内容,这将使我更容易调试.

Answer 1

你走了,从头到尾.我改变了你的网络抓取代码,所以它得到的文本更少,然后在底部是字数.

这是您下载URL的代码......

library(XML)
library(RCurl)
url.link <- 'http://www.jamesaltucher.com/sitemap.xml'
blog <- getURL(url.link)
blog          <- htmlParse(blog, encoding = "UTF-8")
titles  <- xpathSApply (blog ,"//loc",xmlValue)             ## titles

我已经改变了你的功能,从每个页面中提取文字......

traverse_each_page <- function(x){
  tmp <- htmlParse(getURI(x))
  xpathSApply(tmp, '//div[@id="mainContent"]', xmlValue)
}
pages <- sapply(titles[2:3], traverse_each_page)

让我们删除换行符和其他非文本字符......

nont <- c("\n", "\t", "\r")
pages <- gsub(paste(nont,collapse="|"), " ", pages)

关于你的第二个问题,要检查内容pages,只需在控制台输入:

pages

现在让我们执行您的步骤5'计算所有文章显示的每个单词的频率,不区分大小写.

require(tm)
# convert list into corpus 
mycorpus <- Corpus(VectorSource(pages))
# prepare to remove stopwords, ie. common words like 'the'
skipWords <- function(x) removeWords(x, stopwords("english"))
# prepare to remove other bits we usually don't care about
funcs <- list(tolower, removePunctuation, removeNumbers, stripWhitespace, skipWords)
# do it
a <- tm_map(mycorpus, FUN = tm_reduce, tmFuns = funcs)
# make document term matrix
mydtm <- DocumentTermMatrix(a, control = list(wordLengths = c(3,10)))

在这里,您可以看到每个文档的每个单词的计数

inspect(mydtm)
# you can assign it to a data frame for more convenient viewing
my_df <- inspect(mydtm)
my_df

以下是如何计算所有文章中出现的每个单词的总频率,不区分大小写......

apply(mydtm, 2, sum)

这是否回答你的问题？我想你可能真的只对最频繁的单词感兴趣(如@ buruzaemon的答案细节),或者某个字的子集,但这是另一个问题......