在Redis中快速插入5000万条记录的方法

Question

我有一个大约 10 GB 的文本文件，包含 5000 万行。对于文件中的每一行，如果记录尚不存在，我将插入该记录，否则将与现有记录的 ID 和当前行 ID 进行比较，如果当前 ID 小于记录 ID，则更新。

目前，插入/比较记录大约需要8个小时

文本文件中的示例数据：

Md5,Id
d41d8cd98f00b204e9800998ecf8427e,1000
e358efa489f58062f10dd7316b65649e,1001
626726e60bd1215f36719a308a25b798,1002
d41d8cd98f00b204e9800998ecf8427e,5002
d41d8cd98f00b204e9800998ecf8427e,0953
626726e60bd1215f36719a308a25b798,0152

我尝试过实现生产者/消费者模式，但生产者速度太快并消耗大量内存，导致 OutOfMemory 异常。

ConnectionMultiplexer redis = ConnectionMultiplexer.Connect("localhost");

            IDatabase db = redis.GetDatabase();
            int lineCount = 0;
            foreach(var f in File.ReadLines(@"big_text_file.txt").Skip(1))
            {
                lineCount++;
                string[] lines = null;

                lines = f.Split(",")


                if (!db.KeyExists(lines[2]))
                {
                    db.StringSet(lines[2], lines[0]);
                }else //contains key
                {
                    var keypair = db.StringGet(lines[2]);
                    if(Convert.ToInt32(lines[0]) < Convert.ToInt32(keypair))
                    {
                        db.StringSet(lines[2], lines[0]);
                    }
                }

Answer 1

您的代码有几个问题，您可以优化它们以使其运行得更快。

对 Redis 的请求过多。

如果该键不存在，则对于每条记录，您将向 Redis 发送 2 个请求。如果该键已存在，则对于每条记录，您将向 Redis 发送 3 个请求。因此，对于 5000 万条记录，您向 Redis 发送 100 - 1.5 亿个请求。会有很多往返时间。所以会很慢。

相反，您可以将代码包装到Lua 脚本中，并且对于每条记录，仅向 Redis 发送一次请求。

另外，您的代码不是原子的。如果有多个客户端向 Redis 发送请求，您的代码就会崩溃。然而，使用Lua脚本，你可以确保代码是原子的，这样你就可以进行秒级优化。

增加并发量

看来您使用单个线程/进程向 Redis 发送请求。Redis 非常快，但是您的客户端太慢。因此，您可以将记录分成几个部分。对于每个部分，创建一个新线程来向 Redis 发送请求。当然，你必须确保你的代码是线程安全的，检查第一个优化。

减少记录数

从您的示例来看，您的记录有许多重复的 MD5 和不同的 ID。对 Redis 的许多请求都是空操作，因为它们将被后续请求覆盖。因此，您可以进行（外部）排序，并在向 Redis 发送请求之前删除这些重复项。