这是发布的另一个问题的新版本,现在有一个可重现的示例。
我正在尝试将文档特征矩阵从 29117 条推文转换为 R 中的数据帧,但出现错误
“asMethod(object) 中的错误:Cholmod 错误‘问题太大’位于文件 ../Core/cholmod_dense.c,第 105 行”
dfm 的大小约为 21MB,有 29117 行和 78294 个特征(推文中的单词按列分为 1 或 0,具体取决于该单词是否出现在推文中)
##generel info;
memory.size(max=TRUE)
# [1] 11418.75
sessionInfo()
# R version 3.6.1 (2019-07-05)
# Platform: x86_64-w64-mingw32/x64 (64-bit)
# Running under: Windows 10 x64 (build 18362)
##install packages, load librarys
# install.packages(c("quanteda", "devtools"))
# devtools::install_github("quanteda/quanteda.corpora")
library("quanteda")
library(RJSONIO)
library(data.table)
library(jsonlite)
library(dplyr)
library(glmnet)
##load data, convert to a dataframe, convert to a dfm
baseurl <- "https://raw.githubusercontent.com/alexlitel/congresstweets/master/data/"
d0 <- fromJSON(paste0(baseurl, "2019-10-07.json"), flatten = …Run Code Online (Sandbox Code Playgroud)