相关疑难解决方法(0)

pyspark数据框缺少值：

tbl = sc.parallelize([
        Row(first_name='Alice', last_name='Cooper'),             
        Row(first_name='Prince', last_name=None),
        Row(first_name=None, last_name='Lenon')
    ]).toDF()
tbl.show()

这是桌子：

  +----------+---------+
  |first_name|last_name|
  +----------+---------+
  |     Alice|   Cooper|
  |    Prince|     null|
  |      null|    Lenon|
  +----------+---------+

我想创建一个新列，如下所示：

• 如果名字为“无”，请使用姓氏
• 如果姓氏为“无”，请使用名字
• 如果它们都存在，则将它们串联
• 我们可以安全地假设其中至少有一个

我可以构造一个简单的函数：

def combine_data(row):
    if row.last_name is None:
        return row.first_name
    elif row.first_name is None:
        return row.last_name
    else:
        return '%s %s' % (row.first_name, row.last_name)
tbl.map(combine_data).collect()

我确实得到了正确的结果，但是我无法将其作为列追加到表中：tbl.withColumn('new_col', tbl.map(combine_data))结果为AssertionError: col should be Column

将结果转换map为a 的最佳方法是Column什么？有没有一种首选的方法来处理null价值观？

假设我有以下数据

+--------------------+-----+--------------------+
|              values|count|             values2|
+--------------------+-----+--------------------+
|              aaaaaa|  249|                null|
|              bbbbbb|  166|                  b2|
|              cccccc| 1680|           something|
+--------------------+-----+--------------------+

那么如果列中存在空值，values2如何将values1列分配给它呢？所以结果应该是：

+--------------------+-----+--------------------+
|              values|count|             values2|
+--------------------+-----+--------------------+
|              aaaaaa|  249|              aaaaaa|
|              bbbbbb|  166|                  b2|
|              cccccc| 1680|           something|
+--------------------+-----+--------------------+

我想到了以下一些但它不起作用：

df.na.fill({"values2":df['values']}).show()

我找到了这种方法来解决它，但应该有更清晰的内容：

def change_null_values(a,b):
    if b:
        return b
    else:
        return a

udf_change_null = udf(change_null_values,StringType())

df.withColumn("values2",udf_change_null("values","values2")).show()