为什么BigDecimal的Spark groupBy.agg(min/max)总是返回0？

Question

我正在尝试按DataFrame的一列进行分组,并在每个结果组中生成BigDecimal列的min和max值.结果总是产生非常小的(大约0)值.

(min/max针对Double列的类似调用会产生预期的非零值.)

举个简单的例子:

如果我创建以下DataFrame:

import org.apache.spark.sql.{functions => f}

case class Foo(group: String, bd_value: BigDecimal, d_value: Double)

val rdd = spark.sparkContext.parallelize(Seq(
  Foo("A", BigDecimal("1.0"), 1.0),
  Foo("B", BigDecimal("10.0"), 10.0),
  Foo("B", BigDecimal("1.0"), 1.0),
  Foo("C", BigDecimal("10.0"), 10.0),
  Foo("C", BigDecimal("10.0"), 10.0),
  Foo("C", BigDecimal("10.0"), 10.0)
))

val df = rdd.toDF()

选择maxDouble或BigDecimal列将返回预期结果:

df.select(f.max("d_value")).show()

// +------------+
// |max(d_value)|
// +------------+
// |        10.0|
// +------------+

df.select(f.max("bd_value")).show()

// +--------------------+
// |       max(bd_value)|
// +--------------------+
// |10.00000000000000...|
// +--------------------+

但是如果我分组然后聚合,我得到Double列的合理结果,但BigDecimal列的值接近于零:

df.groupBy("group").agg(f.max("d_value")).show()

// +-----+------------+
// |group|max(d_value)|
// +-----+------------+
// |    B|        10.0|
// |    C|        10.0|
// |    A|         1.0|
// +-----+------------+

df.groupBy("group").agg(f.max("bd_value")).show()

// +-----+-------------+
// |group|max(bd_value)|
// +-----+-------------+
// |    B|     1.00E-16|
// |    C|     1.00E-16|
// |    A|      1.0E-17|
// +-----+-------------+

为什么spark会为这些min/max调用返回零结果？

Answer 1

长话短说

BigDecimalsSpark 如何处理问题中所示的特定情况下所体现的规模似乎不一致。该代码的行为就好像它使用对象的比例将BigDecimals 转换为未缩放的s ，然后再转换回使用模式的比例。LongBigDecimalBigDecimal

这可以通过以下任一方法解决

• 使用, 显式设置所有值的比例BigDecimal以匹配 DataFrame 的架构setScale
• 手动指定模式并从 RDD[Row] 创建 DF

长版

以下是我认为在我的 Spark 2.4.0 机器上发生的情况。

在这种groupBy.max情况下，Spark 正在通过UnsafeRow并将其转换BigDecimal为未缩放的 Long并将其作为字节数组存储在setDecimal这一行中（通过 print 语句进行验证）。然后，当它稍后调用getDecimal时，它会使用schema 中指定的BigDecimal比例将字节数组转换回 a 。

如果原始值中的比例与架构中的比例不匹配，则会导致值不正确。例如，

val foo = BigDecimal(123456)
foo.scale
0

val bytes = foo.underlying().unscaledValue().toByteArray()

// convert the bytes into BigDecimal using the original scale -- correct value
val sameValue = BigDecimal(new java.math.BigInteger(bytes), 0)
sameValue: scala.math.BigDecimal = 123456

// convert the bytes into BigDecimal using scale 18 -- wrong value
val smaller = BigDecimal(new java.math.BigInteger(bytes), 18)
smaller: scala.math.BigDecimal = 1.23456E-13

如果我只选择列的最大值bd_value，Spark 似乎不会通过setDecimal。我还没有验证为什么，或者它去了哪里。

但是，这可以解释问题中观察到的值。使用相同的案例类Foo：

// This BigDecimal has scale 0
val rdd = spark.sparkContext.parallelize(Seq(Foo("C", BigDecimal(123456), 123456.0)))

// And shows with scale 0 in the DF
rdd.toDF.show
+-----+--------+--------+
|group|bd_value| d_value|
+-----+--------+--------+
|    C|  123456|123456.0|
+-----+--------+--------+

// But the schema has scale 18
rdd.toDF.printSchema
root
 |-- group: string (nullable = true)
 |-- bd_value: decimal(38,18) (nullable = true)
 |-- d_value: double (nullable = false)


// groupBy + max corrupts in the same way as converting to bytes via unscaled, then to BigDecimal with scale 18
rdd.groupBy("group").max("bd_value").show
+-----+-------------+
|group|max(bd_value)|
+-----+-------------+
|    C|  1.23456E-13|
+-----+-------------+

// This BigDecimal is forced to have the same scale as the inferred schema
val rdd = spark.sparkContext.parallelize(Seq(Foo("C",BigDecimal(123456).setScale(18), 123456.0)))

// verified the scale is 18 in the DF
+-----+--------------------+--------+
|group|            bd_value| d_value|
+-----+--------------------+--------+
|    C|123456.0000000000...|123456.0|
+-----+--------------------+--------+


// And it works as expected
rdd1.groupBy("group").max("bd_value").show

+-----+--------------------+
|group|       max(bd_value)|
+-----+--------------------+
|    C|123456.0000000000...|
+-----+--------------------+

这也可以解释为什么，正如评论中所观察到的，当从具有显式模式的 RDD[Row] 转换时它工作得很好。

val rdd2 = spark.sparkContext.parallelize(Seq(Row("C", BigDecimal(123456), 123456.0)))

// schema has BigDecimal scale 18
val schema = StructType(Seq(StructField("group", StringType, true), StructField("bd_value", DecimalType(38,18), true), StructField("d_value",DoubleType,false)))

// createDataFrame interprets the value into the schema's scale
val df = spark.createDataFrame(rdd2, schema)

df.show

+-----+--------------------+--------+
|group|            bd_value| d_value|
+-----+--------------------+--------+
|    C|123456.0000000000...|123456.0|
+-----+--------------------+--------+