小编Kir*_*hat的帖子

如何使用RDD计算文本文件中每行的单词数?

有没有一种方法可以使用map和reduce来计算RDD每一行的单词出现次数,而不是完整的RDD?

例如,如果 RDD[String] 包含以下两行:

让我们玩得开心吧。

为了获得乐趣,您不需要任何计划。

那么输出应该类似于包含键值对的映射:

(“让我们”,1)
(“有”,1)
(“一些”,1)
(“有趣”,1)

(“到”,1)
(“有”,1)
(“乐趣”,1)
(“你”,1)
(“不”,1)
(“需要”,1)
(“计划”,1 )

scala apache-spark

2
推荐指数
1
解决办法
2万
查看次数

标签 统计

apache-spark ×1

scala ×1