标签: java-pair-rdd

如何将Dataset转换为JavaPairRDD?

有一些方法可以将数据集转换为JavaRDD.

Dataset<Row> dataFrame;
JavaRDD<String> data = dataFrame.toJavaRDD();
Run Code Online (Sandbox Code Playgroud)

有没有其他方法可以将数据集转换为javaPairRDD<Long, Vector>

java apache-spark apache-spark-dataset java-pair-rdd

5
推荐指数
1
解决办法
4030
查看次数

在 Spark Java API 中将 JavaPairRDD 转换为 Dataframe

我在 Java 7 中使用 Spark 1.6

我有一对RDD:

JavaPairRDD<String, String> filesRDD = sc.wholeTextFiles(args[0]);
Run Code Online (Sandbox Code Playgroud)

我想将其转换DataFrame为模式。

看来首先我必须将pairRDD转换为RowRDD。

那么如何从 PairRDD 创建 RowRdd 呢?

java apache-spark rdd spark-dataframe java-pair-rdd

0
推荐指数
1
解决办法
6200
查看次数