我工作的公司正在尝试将使用平面文件格式的产品切换为数据库格式.我们正在处理相当大的数据文件(即:25GB /文件),并且它们可以非常快速地更新.我们需要运行随机访问数据的查询,以及连续的方式.我试图说服他们使用数据库的优势,但我的一些同事似乎不愿意这样做.所以我想知道你们是否可以通过一些理由或链接到我们应该使用数据库的帖子来帮助我,或者至少澄清为什么平面文件更好(如果它们).
我在其中一个团队中遇到了一个问题.其中一个人在我看来有点SQL快乐,并希望将一个小型python FTP下载器生成的日志信息存储到数据库中,而不仅仅是很好的格式文本文件.现在我一直认为只有在加速数据库时才能使用数据库,或者为数据提供更可靠的接口.你有什么看法？
谢谢!
编辑:在这个特定的实例中,数据将每天增长大约100行,并被处理一次并丢弃.虽然这个案例是直接关注的,但我对一般答案更感兴趣.
编辑2:感谢您的所有回复!我用最多的选票作为答案标记了答案,因为我觉得它简明扼要地说明了你们所做的大部分要点,但我会观察并看看是否还有其他问题.
我目前正在评估设计,并可能重新实现我们的工程师使用的内部应用程序.
虽然该应用程序处理大量数据.仅保存两组值(浮点数)以及简单的数据名称和描述.在我看来,当前的应用程序处于过度使用领域,使用规范化的访问数据库来存储评估为7个字符串和浮点数的字段.
您何时开始考虑从平面文件或序列化XML转换到关系数据库,反之亦然？