加载批量数据的正确方法

Question

我正在尝试将大量数据加载到 memcachedb 中。我正在 MySQL 数据库上运行一些查询，我想将这些查询的结果存储在 memcachedb 中，以便以后轻松访问。

目前，我只是使用简单的 set 命令将结果存储在 memcachedb 中，但由于这些结果有数十亿个，将它们一一存储在循环中是非常低效且耗时的。所以，我想知道是否有更好的方法将数据加载到memcachedb中？就像传统RDMS中的数据导入向导

我正在使用 pylibmc 连接到 memcachedb。

Answer 1

pylibmc 库有一个set_multi函数，可以一次性发送一堆命令：

mc.set_multi({
    'key': 'Hello',
    'another': True,
    #[..]
})

这应该工作得足够好。如果您有数十亿个密钥，您可能希望将其分成几千个块。

如果您只是通过套接字发送命令，您可能可以提高一点性能。memcache协议 非常简单。这样做的优点是您可以添加标志noreply，因此服务器不会费心发送回复。当然，这意味着您无法进行任何错误检查，并且无论出于何种原因丢失一些密钥都可以。

这是一个简单的概念证明：

#!/usr/bin/env python

import socket

data = 'set key_1 0 86400 5\r\nabcde\r\n'
data += 'set key_2 0 86400 5\r\nzxcvb\r\n'

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('localhost', 11211))
s.sendall(data)
print(s.recv(8192))
s.close()

# Verify if it worked!
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('localhost', 11211))
s.sendall('get key_1\r\n')
s.sendall('get key_2\r\n')
print(s.recv(8192))
s.close()

哪个应该输出：

STORED
STORED

VALUE key_1 0 5
abcde
END
VALUE key_2 0 5
zxcvb
END

命令的格式set为：

set <key> <flags> <exptime> <data_size> [noreply]\r\n
<data>\r\n

当然，这只是一个概念验证；一个稍微高级的例子可能是这样的：

#!/usr/bin/env python

import socket

def make_set(n, data):
    return 'set key_{} 0 86400 {}\r\n{}\r\n'.format(n, len(data), data)

data = open('/etc/aliases').readlines()
commands = [ make_set(n, d.strip()) for n, d in enumerate(data) if d.strip() != '' ]

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('localhost', 11211))
s.sendall(''.join(commands))
print(s.recv(65000))

# Verify if it worked!
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('localhost', 11211))
for n in range(0, len(commands)):
    s.sendall('get key_{}\r\n'.format(n))
print(s.recv(65000))
s.close()

如果您要从 MySQL 获取数据，请考虑set使用 SQL 查询创建命令！例如：

select
    concat('set key_', page_id, ' 0 86400 ', length(page_title), '\r\n', page_title, '\r\n')
    as cmd
from page limit 2;

不确定这实际上更快，但我怀疑确实如此。