寻找快速,紧凑,可流式,多语言,强类型的序列化格式

Question

我目前在我的Java项目中使用JSON(通过gzip压缩),我需要在磁盘上存储大量对象(数亿个).我每行有一个JSON对象,并禁止JSON对象中的换行符.通过这种方式,我可以逐行从磁盘流式传输数据,而无需一次读取整个文件.

事实证明,解析JSON代码(使用http://www.json.org/java/)比从磁盘上提取原始数据或解压缩它(我在运行中这样做)的开销要大得多.

理想情况下,我想要的是强类型序列化格式,我可以在其中指定"此对象字段是字符串列表"(例如),并且因为系统知道会发生什么,它可以快速反序列化.我也可以通过给别人"类型"来指定格式.

它还需要跨平台.我使用Java,但与使用PHP,Python和其他语言的人一起工作.

所以,回顾一下,它应该是:

• 强类型
• 可流式传输(即逐位读取文件而无需一次性将其全部加载到RAM中)
• 跨平台(包括Java和PHP)
• 快速
• 免费(如发言)

有什么指针吗？

Answer 1

您是否查看了Google协议缓冲区？:

http://code.google.com/apis/protocolbuffers/

它们是跨平台的(C++,Java,Python),还有用于PHP的第三方绑定.它快速,相当紧凑和强类型.

这里还有各种格式之间有用的比较:

http://code.google.com/p/thrift-protobuf-compare/wiki/Benchmarking

您可能想要考虑Thrift或此处提到的其他一个.