在Matlab中加载数据的最快方法是什么？

Question

我有大量的数据(> 800Mb)需要一个年龄加载到Matlab主要是因为它被分成每个<20kB的小文件.它们都是专有的格式,我可以阅读并加载到Matlab中,只需花费很长时间.

我正在考虑读取数据并将其写入某种二进制文件,这应该使后续读取更快(其中可能有很多,因此我需要加速).

所以,我的问题是,将它们写入磁盘以便尽快再次读取它们的最佳格式是什么？

我想我可以选择使用fwrite编写,或者只是从matlab保存变量.我想我更喜欢fwrite选项,所以如果需要,我可以从另一个包/语言中读取它们...

Answer 1

查看HDF5数据格式，最新版本的 MATLAB 使用该格式作为 .mat 文件的基础格式。您可以使用该函数手动创建自己的 HDF5 文件hdf5write，并且可以从具有 HDF 绑定的任何语言访问该文件（大多数常见语言都可以，或者至少提供一种集成可以调用 HDF5 库的 C 代码的方法）。

如果您的数据是数字（并且具有相同的数据类型），您可能会发现很难击败纯二进制（fwrite）的性能。