如何使用 spark/scala 解析 YAML

Question

我有包含以下详细信息的 yaml 文件。文件名：config.yml

- firstName: "James"
  lastName: "Bond"
  age: 30

- firstName: "Super"
  lastName: "Man"
  age: 25

由此，我需要使用 spark 和 scala 来获取 spark 数据帧

+---+---------+--------+
|age|firstName|lastName|
+---+---------+--------+
|30 |James    |Bond    |
|25 |Super    |Man     |
+---+---------+--------+

我曾尝试转换为 json，然后转换为数据帧，但我无法在数据集序列中指定它。

Answer 1

有一个解决方案，可以帮助您将 yaml 转换为 json，然后将其作为 DataFrame 读取

您需要添加这两个依赖项：

import com.fasterxml.jackson.databind.ObjectMapper
import com.fasterxml.jackson.dataformat.yaml.YAMLFactory

import com.fasterxml.jackson.databind.ObjectMapper
import com.fasterxml.jackson.dataformat.yaml.YAMLFactory

希望这可以帮助 ！