小编KIM*_*MIN的帖子

当 Spark 数据框中的值为“null”时,如何指定默认值?

我有一个如下图所示的数据框。

在此输入图像描述

在“item_param”列的值中为“null”的情况下,我想替换字符串“test”。我该怎么做?

df = sv_df.withColumn("srv_name", col('col.srv_name'))\
      .withColumn("srv_serial", col('col.srv_serial'))\
      .withColumn("col2",explode('col.groups'))\
      .withColumn("groups_id", col('col2.group_id'))\
      .withColumn("col3", explode('col2.items'))\
      .withColumn("item_id", col('col3.item_id'))\
      .withColumn("item_param", from_json(col("col3.item_param"), MapType(StringType(), StringType())) ) \
      .withColumn("item_param", map_values(col("item_param"))[0])\
      .withColumn("item_time", col('col3.item_time'))\
      .withColumn("item_time", from_unixtime( col('col3.item_time')/10000000 - 11644473600))\
      .withColumn("item_value",col('col3.item_value'))\
      .drop("servers","col","col2", "col3")
df.show(truncate=False)
df.printSchema()
Run Code Online (Sandbox Code Playgroud)

在此输入图像描述

sql apache-spark apache-spark-sql pyspark

3
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

pyspark ×1

sql ×1