PySpark:如何在特定列的数据框中填充值？

Question

我有以下示例DataFrame:

a    | b    | c   | 

1    | 2    | 4   |
0    | null | null| 
null | 3    | 4   |

我想只在前2列中替换空值 - 列"a"和"b":

a    | b    | c   | 

1    | 2    | 4   |
0    | 0    | null| 
0    | 3    | 4   |

以下是创建示例数据帧的代码:

rdd = sc.parallelize([(1,2,4), (0,None,None), (None,3,4)])
df2 = sqlContext.createDataFrame(rdd, ["a", "b", "c"])

我知道如何使用以下方法替换所有空值:

df2 = df2.fillna(0)

当我尝试这个时,我失去了第三列:

df2 = df2.select(df2.columns[0:1]).fillna(0)

Answer 1

df.fillna(0, subset=['a', 'b'])

subset除非您的spark版本低于1.3.1,否则会有一个以所选列命名的参数

Answer 2

使用字典填充某些列的值：

df.fillna( { 'a':0, 'b':0 } )