MongoDB C# 驱动程序 - 更新许多文档时出现性能问题

Question

我需要大约每分钟更新一次 100,000 多个文档的字段，我发现我的 i7、6GB RAM、SSD HD PC 上的当前代码效率不够高。据我了解，您无法对驱动程序进行批量更新（我正在通过 Nuget 运行最新版本）

这是我通过运行我的代码获得的结果（执行 25,000 次更新的时间），如下所示：

• 从空集合开始 = 152 秒
• 从预填充集合开始 = 151 秒
• 带索引的预填充集合 = 6.5 秒
• 预填充索引和 FindOneAndReplaceAsync 方法 = 20 秒

正如预期的那样，索引效果最好，我不确定为什么 async 效率较低。当将来增长到超过 100,000 次更新/分钟时，即使以这种方式建立索引也可能变得太慢。

这是 FindOneAndReplaceAsync 的预期行为吗？如果是，还有另一种方法可以获得更好的性能。我是否试图用 MongoDB 做一些不是为它设计的事情？

代码（MCVE 就绪）：

public class A
{
    public A(string id)
    {
        customId = id;
        TimeStamp = DateTime.UtcNow;
    }

    [BsonId]
    [BsonIgnoreIfDefault]
    ObjectId Id { get; set; }
    public string customId { get; set; }
    public double val { get; set; }
    public DateTime TimeStamp { get; set; }
}

class Program
{
    static IMongoCollection<A> Coll = new MongoClient("mongodb://localhost").GetDatabase("Test").GetCollection<A>("A");
    static FindOneAndReplaceOptions<A,A> Options = new FindOneAndReplaceOptions<A, A> { IsUpsert = true, };

    static void SaveDoc(A doc)
    {            
        Coll.FindOneAndReplace(Builders<A>.Filter.Where(x => x.customId == doc.customId), doc, Options);
    }

    static void Main(string[] args)
    {
        var docs = Enumerable.Range(0, 25000).Select(x => new A(x.ToString()));

        Stopwatch sw = new Stopwatch();
        sw.Start();
        docs.ToList().ForEach(x => SaveDoc(x));
        sw.Stop();

        Debug.WriteLine(sw.ElapsedMilliseconds);
    }
}

Answer 1

我认为问题与协议和网络延迟有关。每个Update操作都有序列化和传输惩罚。您可以使用批量写入来优化批处理操作性能。

在你的情况下，它看起来像这样：

//create container for bulk operations 
var operations = new List<WriteModel<BsonDocument>>();
//add batch tasks
operations.Add(new ReplaceOneModel<A>(new BsonDocument("customId", doc1.customId), doc1) { IsUpsert = true });
operations.Add(new ReplaceOneModel<A>(new BsonDocument("customId", doc2.customId), doc2) { IsUpsert = true });

//execute BulkWrite operation 
collection.BulkWrite(operations, new BulkWriteOptions() { BypassDocumentValidation = true, IsOrdered = false });

我建议将每个操作的批量大小限制为不超过 1000 个文档 BulkWrite。MongoDb 对 BSON 文档大小（16MB）有限制，可能会导致操作失败。当然，对于具有几个字段的简单文档，batch size 可以是 10000 甚至更多。

BypassDocumentValidation和IsOrdered选项也可以显着加快写入过程。

还有一件事情...

您可以使用原始 BsonDocuments 代替过滤器构建器来消除 LINQ 选择器处理和过滤器解析惩罚。

//instead of this
Builders<A>.Filter.Where(x => x.customId == doc.customId)
//you can use BsonDocument
new BsonDocument("customId", doc.customId)

在命令执行之前，您的过滤器构建器将被序列化为完全相同的 BSON 文档。