CapnProto 最大文件大小

Question

目前我们使用 ProtocolBuffers 在 python 和 C++ 之间交换数据。但是，我们遇到了协议缓冲区的最大文件大小限制，并正在考虑将所有内容切换到 Cap'n Proto。但是，由于它与协议缓冲区有些相关，我想知道Cap'n Proto 是否对最大文件大小也有限制？

Answer 1

Cap'n Proto 的最大文件大小约为 2^64 字节或 16 exbibytes——“应该对任何人都足够了”。:)

实际上，Cap'n Proto 是一种非常适合超大数据文件的格式，因为它支持随机访问和延迟加载。当读取一个巨大的 Cap'n Proto 文件时，我建议使用mmap()将文件映射到内存中，然后将字节直接传递给 Cap'n Proto 实现（例如capnp::FlatArrayMessageReader在 C++ 中）。这样，操作系统只会将您实际使用的文件页面带入内存。（相比之下，使用 Protocol Buffers，在访问任何文件之前，必须预先将整个文件解析为内存中的数据结构。）

请注意，ListCap'n Proto 结构中的单个值的限制为 2^29-1 个元素。Text和Data（字符串和字节 blob）是特殊类型的列表，因此这意味着任何单个连续文本或字节 blob 都限制为 512MB。但是，您可以有多个这样的 blob，因此可以将较大的数据拆分成多个部分，从而将其存储到单个文件中。

另请注意，默认情况下，大多数 Cap'n Proto 实现在读取 Cap'n Proto 结构时都会施加“遍历限制”，以防御包含指针循环的恶意数据。通常这默认为 64MiB。对于较大的数据，您需要覆盖限制——在 C++ 中，您需要将自定义传递ReaderOptions给MessageReader构造函数。