Rah*_*hul 6 performance mongodb node.js
目前我们的任务是从外部服务器获取100万条记录,处理它并将其保存在数据库中.我们node.js用于获取记录和mongodb数据库.
我们决定将流程拆分为2个任务,获取记录并进行处理.现在我们能够获取所有记录并将其转储到mongo中,但是当我们尝试处理它时(通过处理我的意思是更改一些属性值,进行一些简单的计算并更新属性),我们看到mongodb中的响应非常慢更新200,000记录.
为了处理数据,我们采用批量1000条记录处理它,更新记录(单独),然后进行下一批.如何才能使性能更好？
小智 -1
如果您想在长数据后保持 mongoDB 的响应速度，请在数据库和集合中使用 mongo 分片和复制
\n\n复制：- \nMongoDB 中的副本集是一组维护相同数据集的 mongod 进程。副本集提供冗余和高可用性，是所有生产部署的基础。本节介绍 MongoDB 中的复制以及副本集的组件和架构。本节还提供了与副本集相关的常见任务的教程。
\n\n\n\n分片：- \n分片是跨多台机器存储数据记录的过程，是 MongoDB\xe2\x80\x99s 满足数据增长需求的方法。随着数据大小的增加，单台机器可能不足以存储数据，也无法提供可接受的读写吞吐量。分片解决了水平扩展的问题。通过分片，您可以添加更多机器来支持数据增长以及读写操作的需求。
\n\n\n