spark数据帧修剪列和转换

Question

在Scala/Spark中,如何将空字符串(如"")转换为"NULL"？需要先修剪它然后转换为"NULL".谢谢.

dataframe.na.replace("cut", Map(" " -> "NULL")).show //wrong

Answer 1

您可以创建一个简单的功能来完成它.首先是几个进口:

import org.apache.spark.sql.functions.{trim, length, when}
import org.apache.spark.sql.Column

和定义:

def emptyToNull(c: Column) = when(length(trim(c)) > 0, c)

最后一个快速测试:

val df = Seq(" ", "foo", "", "bar").toDF
df.withColumn("value", emptyToNull($"value"))

应产生以下结果:

+-----+
|value|
+-----+
| null|
|  foo|
| null|
|  bar|
+-----+

如果您想更换空字符串与字符串 "NULL,你可以添加otherwise条款:

def emptyToNullString(c: Column) = when(length(trim(c)) > 0, c).otherwise("NULL")