我有一个json数据文件,其中包含一个属性[creationDate],它是"long"数字类型的unix epoc.Apache Spark DataFrame架构如下所示:
root |-- creationDate: long (nullable = true) |-- id: long (nullable = true) |-- postTypeId: long (nullable = true) |-- tags: array (nullable = true) | |-- element: string (containsNull = true) |-- title: string (nullable = true) |-- viewCount: long (nullable = true)
我想做一些groupBy"creationData_Year",需要从"creationDate"获取.
使用Java 在DataFrame中进行这种转换的最简单方法是什么？
我有一个json数据文件,其中包含一个属性,它是"tags"的字符串数组.Apache Spark DataFrame架构如下所示:
root
|-- acceptedAnswerId: long (nullable = true)
|-- answerCount: long (nullable = true)
|-- body: string (nullable = true)
|-- score: long (nullable = true)
|-- <b>tags</b>: array (nullable = true)
| |-- element: string (containsNull = true)
|-- title: string (nullable = true)
|-- viewCount: long (nullable = true)
我想在Java中将每一行分成几行.我可以使用Scala找到类似的答案,但无法在Java中转换解决方案.有什么建议吗？
JSON中的"tags"属性如下所示:
"tags":["c#",".net","compression","decompression"]