我有数据框,并尝试获取不重复计数,并且能够成功获取不重复计数,但是每当执行scala程序时,我都会收到此消息,我该([Stage 2:=============================> (1 + 1) / 2])如何在控制台中禁止显示此特定消息。
val countID = dataDF.select(substring(col("dataDF"),5,7).distinct().count()
Run Code Online (Sandbox Code Playgroud) 我有 Scala 代码,其中使用 udf 函数来计算计算及其以真或假格式的状态,在执行时我收到这样的错误“无法转换为 scala.Function5”。
任何帮助将不胜感激。
val kdRule = { (st: String, amtIs: Double, sQ: Int, lA: Double, vPP: Double,lD:Double) =>
if (st != "KL" && st != "AD" && amtIs == 0)
if (sQ >= 0)
if (Math.abs(Math.round(lA / sQ) - Math.round(((vPP * sQ) - lD) / sQ).toDouble ) < 0.02)
true
else if (Math.abs(Math.round(lA).toDouble - Math.round((vPP * sQ) - lD).toDouble ) < 0.02)
true
else
false
else
false
else
false
}
val kdRuleUdf = udf(kdRule)
kdDF.withColumn("RowKD", kdRuleUdf(kdDF("stypes"), …Run Code Online (Sandbox Code Playgroud)