相关疑难解决方法(0)

Spark在stdout上丢失了println()

我有以下代码:

val blueCount = sc.accumulator[Long](0)
val output = input.map { data =>
  for (value <- data.getValues()) {
    if (record.getEnum() == DataEnum.BLUE) {
      blueCount += 1
      println("Enum = BLUE : " + value.toString()
    }
  }
  data
}.persist(StorageLevel.MEMORY_ONLY_SER)

output.saveAsTextFile("myOutput")
Run Code Online (Sandbox Code Playgroud)

然后blueCount不为零,但我没有println()输出!我在这里错过了什么吗?谢谢!

scala println accumulator apache-spark

17
推荐指数
1
解决办法
2万
查看次数

标签 统计

accumulator ×1

apache-spark ×1

println ×1

scala ×1