小编Ban*_*ddy的帖子

Apache Spark案例在不同的列上具有多个when子句

给出以下结构:

val df = Seq("Color", "Shape", "Range","Size").map(Tuple1.apply).toDF("color")

val df1 = df.withColumn("Success", when($"color"<=> "white", "Diamond").otherwise(0))
Run Code Online (Sandbox Code Playgroud)

我想再写一个WHEN条件,上面的条件是大小> 10,并且Shape列的值为Rhombus,然后将“ Diamond”值插入该列,否则为0。我尝试如下所示,但失败了

val df1 = df.withColumn("Success", when($"color" <=> "white", "Diamond").otherwise(0)).when($"size">10)
Run Code Online (Sandbox Code Playgroud)

请建议我仅使用scala的dataframe选项。带有sqlContext的Spark-SQL对我没有帮助。

谢谢 !

hadoop apache-spark apache-spark-sql

2
推荐指数
2
解决办法
5498
查看次数

当Memstore在Hbase中崩溃时会发生什么?

当MEMSTORE在HBASE群集中失败时,Region服务器将如何响应?

hadoop hbase

1
推荐指数
1
解决办法
135
查看次数

标签 统计

hadoop ×2

apache-spark ×1

apache-spark-sql ×1

hbase ×1