我有一段简单的 R 代码,它从网站读取 html 数据,然后我试图遍历页面并从每个页面获取数据。我已经多次使用这段代码并且它有效。它将每个页面的结果添加到 R 变量中,但由于某种原因,它在该站点上不起作用。有任何想法吗?
library(XML)
library(RCurl)
data <- NULL
getData <- function(url) {
#For some reason cant read directly from site, need to use RCurl to get the data first
xData <- getURL(url)
table <- data.frame(readHTMLTable(xData)$'NULL')
data <- table
}
getData(url="https://steemdb.com/accounts/reputation?page=1")
Run Code Online (Sandbox Code Playgroud)
我想我知道出了什么问题
更改data <- table为data <<- table在您的函数内
您将结果分配给函数的本地环境,同时<<-将其分配给全局环境。
我建议您尝试以下操作
library(rvest)
getData <- function(url) { html_table(read_html(url)) }
data <- getData("https://steemdb.com/accounts/reputation?page=1")
Run Code Online (Sandbox Code Playgroud)
或者更好
library(rvest)
getData <- function(url) { html_table(read_html(url)) }
steemdb.url <-"https://steemdb.com/accounts/reputation?page="
data <- lapply(1:100, function(i) getData(paste0(steemdb.url, i)) )
data <- do.call(rbind, data)
View(data)
1:100 will get you the first 100 pages.
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
1530 次 |
| 最近记录: |