小编mjs*_*see的帖子

Spark在UDF Java中从WrappedArray<WrappedArray<Double>>获取值

我的一列Dataset<Row> 包含WrappedArray<WrappedArray<Double>>. 我将此列传递给 anUDF以提取其中一个值。

我将如何访问这个嵌套结构中的双打?

我想做这样的事情:

sparkSession.udf().register(ADD_START_TOTAL, (UDF1<WrappedArray<WrappedArray<Double>>, Double>) (totals) -> totals[0][1], DataTypes.DoubleType);
Run Code Online (Sandbox Code Playgroud)

这是我调用Dataset.show()方法时列的示例,我的数据集如下所示。

[WrappedArray(2.0...
Run Code Online (Sandbox Code Playgroud)

编辑:在 spark (scala) 中找到了这篇文章How to cast a WrappedArray[WrappedArray[Float]] to Array[Array[Float]] 但不确定如何将其转换为 Java。

java user-defined-functions apache-spark apache-spark-sql

4
推荐指数
1
解决办法
1976
查看次数