小编use*_*482的帖子

这应该很简单,但....使用Spark 1.6.1 ....我有DataFrame#1,列A,B,C.值:

A  B  C
1  2  A
2  2  A
3  2  B
4  2  C

然后我用新列D创建一个新的数据帧,所以:

DataFrame df2 = df1.withColumn("D", df1.col("C"));

到目前为止这么好但我实际上希望D列中的值是有条件的,即:

// pseudo code
if (col C = "A") the col D = "X"
else if (col C = "B") the col D = "Y"
else col D = "Z"

然后,我将删除C列并将D重命名为C.我已经尝试查看Column函数,但似乎没有任何内容符合要求.我想过使用df1.rdd().map()并迭代这些行,但除了实际上并没有让它工作之外,我有点认为DataFrames的重点是要远离RDD抽象？

不幸的是我必须用Java做这个(当然Spark和Java并不是最优的!!).似乎我错过了明显的东西,很高兴在提出解决方案时被证明是个白痴!