我一直致力于一个项目,该项目产生了大约10到1亿个输出,来自我希望存储以供将来分析的模拟.数据的组织有几个本质级别,例如,教室允许学生参加具有少数不同性能指标的测试.
看起来我的数据是能够同时适应内存的边界线(考虑到模拟的计算需要在内存中进行相当数量的数据来进行计算),但我没有任何直接需要我的程序可以同时使用所有数据.
我正在考虑将计算值输出到SQL数据库或平面文本文件是否更好.我正在寻找关于哪种方法可能更快/更容易维护的建议(或者如果您有另外的建议来存储我对此开放的数据).
我不需要能够与其他任何人共享数据,也不用担心几年后访问数据.我只是需要一种方便的方法来避免每次我想要对值的分析进行调整时重新生成模拟.
顺便说一句，听起来您最好将每次模拟运行的结果保存到平面文件中。它不必是文本文件 - 它可以是二进制文件。
运行一次或多次模拟后，可以读取文件并将其放入数据仓库中以供以后分析。