小编sal*_*lvu的帖子

文档中的深度过大:R中的xml2 :: read_html()的XML_PARSE_HUGE选项

首先,我想为一个新问题道歉,因为我的个人资料还不允许我评论其他人的评论,尤其是我见过的两篇SO帖子.所以请忍受这个老家伙:-)

我试图读取100个字符文件的列表,大小从大约90KB到2MB,然后使用该qdap包进行一些统计,我从文件中提取的文本,即计数句子,单词等.这些文件包含以前使用的网页源RSelenium::remoteDriver$getPageSource()并使用保存到文件write(pgSource, fileName.txt).我正在使用以下循环读取文件:

pgSource <- readChar(file.path(fPath, fileNames[i]), nchars = 1e6)
doc <- read_html(pgSource)
Run Code Online (Sandbox Code Playgroud)

对于某些文件而言是扔的

Error in eval(substitute(expr), envir, enclos) : 
  Excessive depth in document: 256 use XML_PARSE_HUGE option [1] 
Run Code Online (Sandbox Code Playgroud)

我已经看到这些帖子,SO33819103和SO31419409指出类似的问题,但无法完全理解如何使用@blossarch在上面第一个链接中建议的片段中的建议使用@ shabbychef的解决方法.

library(drat)
drat:::add("shabbychef");
install.packages('xml2')
library("xml2")
Run Code Online (Sandbox Code Playgroud)

编辑:我注意到,之前我正在运行另一个脚本使用URL来从网页上实时抓取数据我没有遇到这个问题.代码是一样的,我只是在阅读doc <- read_html(pgSource)后阅读它RSelenium's remoteDriver.

我想问这个温和的社区是我xml2在添加shabbychef的drat之后是否遵循正确的安装和加载步骤,或者我是否需要添加SO17154308帖子中建议的其他步骤.非常感谢任何帮助或建议.谢谢.

html xml r web-scraping rselenium

9
推荐指数
1
解决办法
2163
查看次数

标签 统计

html ×1

r ×1

rselenium ×1

web-scraping ×1

xml ×1