R:从用RCurl抓取的网页中提取"干净"的UTF-8文本

Question

使用R,我试图刮一个网页,将日文文本保存到文件中.最终,这需要扩展到每天处理数百页.我已经在Perl中有一个可行的解决方案,但我正在尝试将脚本迁移到R以减少在多种语言之间切换的认知负荷.到目前为止,我没有成功.相关的问题似乎是关于保存csv文件和将此希伯来文写入HTML文件的问题.但是,我没有成功地根据那里的答案拼凑出一个解决方案.编辑:关于R的UTF-8输出的这个问题也是相关的但是没有解决.

这些页面来自Yahoo! 日本财务和我的Perl代码看起来像这样.

use strict;
use HTML::Tree;
use LWP::Simple;
#use Encode;
use utf8;

binmode STDOUT, ":utf8";

my @arr_links = ();
$arr_links[1] = "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7203";
$arr_links[2] = "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7201";

foreach my $link (@arr_links){
    $link =~ s/"//gi;
    print("$link\n");
    my $content = get($link);
    my $tree = HTML::Tree->new();
    $tree->parse($content);
    my $bar = $tree->as_text;
    open OUTFILE, ">>:utf8", join("","c:/", substr($link, -4),"_perl.txt") || die;
    print OUTFILE $bar;
}

此Perl脚本生成一个类似于下面屏幕截图的CSV文件,其中包含可以离线挖掘和操作的正确的汉字和假名:

我的R代码,如下所示,如下所示.R脚本与刚刚给出的Perl解决方案不完全相同,因为它不会删除HTML并留下文本(这个答案暗示了一种使用R的方法,但在这种情况下它对我不起作用)并且它没有循环等等,但意图是一样的.

require(RCurl)
require(XML)

links <- list()
links[1] <- "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7203"
links[2] <- "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7201"

txt <- getURL(links, .encoding = "UTF-8")
Encoding(txt) <- "bytes"
write.table(txt, "c:/geturl_r.txt", quote = FALSE, row.names = FALSE, sep = "\t", fileEncoding = "UTF-8")

此R脚本生成下面屏幕截图中显示的输出.基本上是垃圾.

我假设有一些HTML,文本和文件编码的组合,这将允许我在R中生成类似于Perl解决方案的结果,但我找不到它.我试图抓取的HTML页面的标题说图表集是utf-8,我已经在getURL调用和write.table函数中设置了utf-8的编码,但仅此一点是不够的.

问题 如何使用R抓取上述网页并将文本保存为"格式良好"的日文文本中的CSV而不是看起来像线条噪音的内容？

编辑:我添加了一个进一步的屏幕截图,以显示当我省略该Encoding步骤时会发生什么.我看起来像Unicode代码,但不是字符的图形表示.它可能是某种与语言环境相关的问题,但在完全相同的语言环境中,Perl脚本确实提供了有用的输出.所以这仍然令人费解.我的会话信息:R版本2.15.0补丁(2012-05-24 r59442)平台:i386-pc-mingw32/i386(32位)语言环境: 1 LC_COLLATE = English_United Kingdom.1252 2 LC_CTYPE = English_United Kingdom.1252
3 LC_MONETARY = English_United Kingdom.1252 4 LC_NUMERIC = C
5 LC_TIME = English_United Kingdom.1252
附加基础包: 1 stats graphics grDevices utils数据集方法库

Answer 1

我好像找到了一个答案,其他人还没有发布一个,所以这里有.

早些时候@kohske评论说,一旦Encoding()呼叫被删除,代码就适用于他.这让我觉得他可能有一个日语语言环境,这反过来表明我的机器上有一个语言环境问题,某种程度上影响了R - 即使Perl避免了这个问题.我重新校准了我的搜索,发现这个问题是关于采购原始海报遇到类似问题的UTF-8文件.答案涉及切换区域设置.我进行了实验,发现将我的语言环境切换为日语似乎可以解决问题,如截图所示:

更新后的R代码如下.

require(RCurl)
require(XML)

links <- list()
links[1] <- "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7203"
links[2] <- "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7201"

print(Sys.getlocale(category = "LC_CTYPE"))
original_ctype <- Sys.getlocale(category = "LC_CTYPE")
Sys.setlocale("LC_CTYPE","japanese")

txt <- getURL(links, .encoding = "UTF-8")

write.table(txt, "c:/geturl_r.txt", quote = FALSE, row.names = FALSE, sep = "\t", fileEncoding = "UTF-8")
Sys.setlocale("LC_CTYPE", original_ctype)

因此,我们必须以编程方式使用语言环境.坦率地说,我有点尴尬,因为我们在2012年显然需要在Windows上使用R这样的kludge.正如我上面提到的,Perl在相同版本的Windows上和相同的语言环境中以某种方式解决了问题,而不需要我更改我的系统设置.

当然,上面更新的R代码的输出是HTML.对于那些感兴趣的人,以下代码在剥离HTML和保存原始文本方面取得了相当不错的成功,尽管结果需要进行大量的整理.

require(RCurl)
require(XML)

links <- list()
links[1] <- "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7203"
links[2] <- "http://stocks.finance.yahoo.co.jp/stocks/detail/?code=7201"

print(Sys.getlocale(category = "LC_CTYPE"))
original_ctype <- Sys.getlocale(category = "LC_CTYPE")
Sys.setlocale("LC_CTYPE","japanese")

txt <- getURL(links, .encoding = "UTF-8")
myhtml <- htmlTreeParse(txt, useInternal = TRUE)
cleantxt <- xpathApply(myhtml, "//body//text()[not(ancestor::script)][not(ancestor::style)][not(ancestor::noscript)]", xmlValue)

write.table(cleantxt, "c:/geturl_r.txt", col.names = FALSE, quote = FALSE, row.names = FALSE, sep = "\t", fileEncoding = "UTF-8")
Sys.setlocale("LC_CTYPE", original_ctype)