将数据框架中的新派生列从布尔值转换为整数

Question

假设我有一个x带有此架构的DataFrame :

xSchema = StructType([ \
    StructField("a", DoubleType(), True), \
    StructField("b", DoubleType(), True), \
    StructField("c", DoubleType(), True)])

然后我有DataFrame:

DataFrame[a :double, b:double, c:double]

我想有一个整数派生列.我能够创建一个布尔列:

x = x.withColumn('y', (x.a-x.b)/x.c > 1)

我的新架构是:

DataFrame[a :double, b:double, c:double, y: boolean]

但是,我希望列y包含0表示False,1表示True表示.

该cast功能只能在列上操作,而不能在a上操作,DataFrame并且该withColumn功能只能在a上运行DataFrame.如何添加新列并同时将其转换为整数？

Answer 1

您使用的表达式求值为列,因此您可以像这样直接转换:

x.withColumn('y', ((x.a-x.b) / x.c > 1).cast('integer')) # Or IntegerType()