use*_*481 13 hadoop hive r amazon-ec2 tm
我想使用R的分布式计算tm包(称为tm.plugin.dc)创建一个包含1亿条推文的文本语料库.这些推文存储在我笔记本电脑上的一个大型MySQL表中.我的笔记本电脑很旧,所以我使用的是我在Amazon EC2上设置的Hadoop集群.
CRAN的tm.plugin.dc文档说目前只支持DirSource.文档似乎表明DirSource每个文件只允许一个文档.我需要语料库将每条推文视为文档.我有1亿条推文 - 这是否意味着我需要在旧笔记本上制作1亿个文件？这似乎过分了.有没有更好的办法？
到目前为止我尝试了什么:
将MySQL表的文件转储作为单个(大量).sql文件.将文件上传到S3.将文件从S3传输到群集.使用Cloudera的Sqoop工具将文件导入Hive.怎么办？我无法弄清楚如何使DirSource与Hive一起工作.
在我的笔记本电脑上发送每条推文的XML文件.但是怎么样？我的电脑很旧,无法做到这一点....如果我能够超越它,那么我会:将所有1亿个XML文件上传到亚马逊S3中的文件夹.将S3文件夹复制到Hadoop集群.将DirSource指向该文件夹.