小编dre*_*ddy的帖子

我有一个包含以下列的数据框:

groupid,unit,height
----------------------
1,in,55
2,in,54

我想创建另一个包含额外行的数据框,其中unit = cm,height = height*2.54.

结果数据帧:

groupid,unit,height
----------------------
1,in,55
2,in,54
1,cm,139.7
2,cm,137.16

不知道如何使用spark udf并在这里爆炸.任何帮助表示赞赏.提前致谢.

我正在尝试从存储在表中的值创建一个 csv：

 | col1   | col2   | col3  |
 | "one"  | null   | "one" |
 | "two"  | "two"  | "two" |

hive > select * from table where col2 is null;
 one   null    one 

我使用以下代码获取 csv：

df.repartition(1)
  .write.option("header",true)
  .option("delimiter", ",")
  .option("quoteAll", true)
  .option("nullValue", "")
  .csv(S3Destination)

CSV我得到：

"col1","col2","col3"
"one","","one"
"two","two","two"

预期的 Csv：对于 NULL 值没有双引号

"col1","col2","col3"
"one",,"one"
"two","two","two"

感谢您了解数据帧编写者是否可以选择执行此操作。

我有一个包含列 col1、col2、col3 的数据框。col1,col2 是字符串。col3 是下面定义的 Map[String,String]

 |-- col3: map (nullable = true)
 |    |-- key: string
 |    |-- value: string (valueContainsNull = true)

我已按 col1、col2 进行分组，并使用collect_list 进行聚合以获取地图数组并存储在 col4 中。

 df.groupBy($"col1", $"col2").agg(collect_list($"col3").as("col4"))

 |-- col4: array (nullable = true)
 |    |-- element: map (containsNull = true)
 |    |    |-- key: string
 |    |    |-- value: string (valueContainsNull = true)

不过，我希望将 col4 作为单个地图，将所有地图组合在一起。目前我有：

[[a->a1,b->b1],[c->c1]]

预期产出

[a->a1,b->b1,c->c1]

使用 udf 会比较理想吗？

任何帮助表示赞赏。谢谢。

我试图根据分隔符":|:|:"在spark中拆分数据帧的字符串列

Input:
TEST:|:|:51:|:|:PHT054008056

测试代码:

dataframe1
.withColumn("splitColumn", split(col("testcolumn"), ":|:|:"))

结果:

+------------------------------+
|splitColumn                   |
+------------------------------+
|[TEST, |, |, 51, |, |, P]     |   
+------------------------------+

测试代码:

dataframe1
.withColumn("part1", split(col("testcolumn"), ":|:|:").getItem(0))
.withColumn("part2", split(col("testcolumn"), ":|:|:").getItem(3))
.withColumn("part3", split(col("testcolumn"), ":|:|:").getItem(6))

part1和part2正常工作.part3只有2个字符,其余的字符串被截断.

第三部分:

P

我想得到整个part3字符串.任何帮助表示赞赏.