PyYaml结合了两个yaml文件

Question

我正在尝试建立一个系统,我有一些(可能更多)yaml文件将用于配置.我希望能够在另一个文件中引用一些文件.

我知道YAML不允许这样做.

我认为,我的计划是将两个YAML文件合并,然后将其视为单个文件.我很确定我可以将两个文件放在一起,创建一个临时文件,然后将其作为YAML读取,或者将文件作为文本读取,连接它们然后解析字符串.

但是,我觉得应该有更好的方法来做到这一点.在那儿？

Answer 1

YAML 中引用的唯一方法是使用&（锚点）和*（别名）。为了使它们发挥作用，它们必须位于同一个 YAML 文档中。以下内容将不起作用（这是基于合并键功能，但普通对象引用具有相同的限制）：

import ruamel.yaml

yaml_str = """\
a: &BASE { x: 1, y: 2}
---
b:
  << : *BASE
  z: 3
"""

for data in ruamel.yaml.load_all(yaml_str):
    print(data)

抛出一个编译器错误，提示“BASE”未找到。删除---文档分隔符，一切正常。

因此原则上连接两个文档是可行的。如果不将其与包含该别名的锚点连接起来，则无法单独加载带有别名的文档。

另外需要注意的是，所有文档都必须在顶层具有映射或序列。如果要组合一个序列：

- &BASE a
- b

与映射：

c: 1
d: *BASE

结果将无法加载。

如前所述，如果所有文件的顶级类型都相同，则无法加载 YAML 文件并将它们合并在内存中。即给出合并键文档中的示例分为1.yaml：

- &CENTER { x: 1, y: 2 }
- &LEFT { x: 0, y: 2 }
- &BIG { r: 10 }
- &SMALL { r: 1 }

2.yaml：

# Explicit keys
-
  x: 1
  y: 2
  r: 10
  label: center/big

3.yaml：

# Merge one map
-
  << : *CENTER
  r: 10
  label: center/big

4.yaml：

# Merge multiple maps
-
  << : [ *CENTER, *BIG ]
  label: center/big    

5.yaml：

# Override
-
  << : [ *BIG, *LEFT, *SMALL ]
  x: 1
  label: center/big

您不能load()在单个 YAML 文件上使用并将它们组合起来：

import ruamel.yaml
import glob

data = []
for file_name in sorted(glob.glob('*.yaml')):
    data.append(ruamel.yaml.load(open(file_name)))
print(ruamel.yaml.dump(data, allow_unicode=True))

2.yaml（如果等没有别名，上面的方法就可以工作）

如果您不想在程序之外连接文件，可以使用此类：

class CombinedOpenForReading(object):
    def __init__(self, file_names):
        self._to_do = file_names[:]
        self._fp = None

    def __enter__(self):
        return self

    def __exit__(self, exception_type, exception_value, exception_traceback):
        if self._fp:
            self._fp.close()

    def read(self, size=None):
        res = ''
        while True:
            if self._fp is None:
                if not self._to_do:
                    return res
                else:
                    self._fp = open(self._to_do.pop(0))
            if size is None:
                data = self._fp.read()
            else:
                data = self._fp.read(size)
            if size is None or not data:
                self._fp.close()
                self._fp = None
            res += data
            if size is None:
                continue
            size -= len(data)
            if size == 0:
                break
        return res

去做：

import ruamel.yaml
import glob

with CombinedOpenForReading(sorted(glob.glob('*.yaml'))) as fp:
    data = ruamel.yaml.round_trip_load(fp)
assert data[6]['r'] == 10
print(ruamel.yaml.dump(data, Dumper=ruamel.yaml.RoundTripDumper))

要得到：

- &CENTER {x: 1, y: 2}
- &LEFT {x: 0, y: 2}
- &BIG {r: 10}
- &SMALL {r: 1}
# Explicit keys
- x: 1
  y: 2
  r: 10
  label: center/big
# Merge one map
- <<: *CENTER
  r: 10
  label: center/big
# Merge multiple maps
- <<: [*CENTER, *BIG]
  label: center/big
# Override
- <<: [*BIG, *LEFT, *SMALL]
  x: 1
  label: center/big

（您必须以正确的顺序提交文件，从而进行排序。并确保文件末尾有换行符，否则可能会出现意外错误。）