小编Aks*_*hay的帖子

为自定义Hadoop类型实现ArrayWritable

如何为自定义Hadoop类型定义ArrayWritable?我试图在Hadoop中实现倒排索引,使用自定义Hadoop类型来存储数据

我有一个Individual Posting类,它存储术语频率,文档ID和文档中术语的字节偏移列表.

我有一个Posting类,它有一个文档频率(术语出现的文档数)和个人发布列表

我已经定义扩展ArrayWritable类的字节偏移的列表中的一个LongArrayWritable IndividualPostings

当我为IndividualPosting定义一个自定义ArrayWritable时,我在本地部署后遇到了一些问题(使用Karmasphere,Eclipse).

Posting类列表中的所有IndividualPosting实例都是相同的,即使我在Reduce方法中得到不同的值

hadoop mapreduce

4
推荐指数
1
解决办法
9726
查看次数

标签 统计

hadoop ×1

mapreduce ×1