小编the*_*ker的帖子

如何从Spark的输出控制台取消显示“ Stage 2 ===>”?

我有数据框,并尝试获取不重复计数,并且能够成功获取不重复计数,但是每当执行scala程序时,我都会收到此消息,我该([Stage 2:=============================> (1 + 1) / 2])如何在控制台中禁止显示此特定消息。

val countID = dataDF.select(substring(col("dataDF"),5,7).distinct().count()
Run Code Online (Sandbox Code Playgroud)

scala dataframe apache-spark

5
推荐指数
2
解决办法
548
查看次数

在 scala 中使用 udf 函数时出现错误“Validation$$anonfun$14 无法转换为 scala.Function5”

我有 Scala 代码,其中使用 udf 函数来计算计算及其以真或假格式的状态,在执行时我收到这样的错误“无法转换为 scala.Function5”。

任何帮助将不胜感激。

val kdRule = { (st: String, amtIs: Double, sQ: Int, lA: Double, vPP: Double,lD:Double) =>

        if (st != "KL" && st != "AD" && amtIs == 0)

          if (sQ >= 0)

              if (Math.abs(Math.round(lA / sQ)  - Math.round(((vPP * sQ) - lD) / sQ).toDouble ) < 0.02)

                true
              else if (Math.abs(Math.round(lA).toDouble  - Math.round((vPP * sQ) - lD).toDouble ) < 0.02)

                true
              else

                false
              else

                false
        else
          false

      }

      val kdRuleUdf = udf(kdRule)     
      kdDF.withColumn("RowKD", kdRuleUdf(kdDF("stypes"), …
Run Code Online (Sandbox Code Playgroud)

scala apache-spark

1
推荐指数
1
解决办法
3359
查看次数

标签 统计

apache-spark ×2

scala ×2

dataframe ×1