Redis - 为什么这段代码很快？

Question

最近我使用Redis.Eval改进了一些代码,效果很好.事实上,这工作得太好了,但我不明白这是怎么回事.

对于TL; DR

改进的redis代码多次使用Redis.zcard来使用Redis.eval一次.代码的速度提高了100倍(在测试环境中.在实际项目中,速度提高了1000倍以上).我不知道为什么.有人可以解释一下吗？

什么代码

它做了一个非常简单的任务.它需要一个字符串数组,它是存储在Redis中的ZSET的关键字,并对相应ZSET的大小求和,并返回一个整数值,即和.

测试设置

为了尽可能多地消除外部变量,我建立了一个简单的测试环境,如下所示.

redis = Redis.new(host: '127.0.0.1', db: 1)
KEYS = 500.times.collect do |i| "KEY#{i}" end
KEYS.each do |key|
  redis.zadd(key, 0, "DATA")
end  

改善之前

在我更改代码之前,它的工作原理如下.

sum = 0
KEYS.each do |key|
  sum += redis.zcard(key)
end

然后我使用以下单行代码测试了此代码的速度.
t = Time.now; sum=0; KEYS.each do |key| sum += redis.zcard(key) end; puts(Time.now - t)
结果打印出来0.202seconds(202ms)
(请注意我根据测试环境和上面编写的代码计算时间,而不是真实环境)

改善之后

在我使用Lua脚本和EVAL更改代码之后,它的工作原理如下.

script = " 
local sum = 0
for index, key in pairs(KEYS) do
  sum = sum + redis.call('zcard', key);
end
return sum"
sum = redis.eval(script, KEYS)

然后,我还使用以下一行代码测量了执行上述代码所花费的时间.
t = Time.now; redis.eval(script, KEYS); puts(Time.now - t)
哪个给了我0.001519seconds(1.5ms).这比"改进前"代码快134倍.

困惑

是什么让我感到困惑的是,一个人redis.zcard(KEYS[0])需要0.000542seconds(0.542ms).因此redis.eval代码在redis中总计500 ZCARD花费大约相同的时间来计算ruby中的3 Redis.ZCARD.

当我第一次在我的项目中发现这一点时,我认为减少网络延迟,减少等待队列时间就可以了.然而,当我在本地redis上测试时,我怀疑我的理论.根本没有网络延迟,没有其他任务正在使用Redis.

我的理论是

1. Ruby summation(sum += redis.zcard(key))占用了大部分时间.
2. 即使我使用本地主机,redis和ruby通信之间也存在某种延迟.
3. 处理许多查询时,redis存在内部延迟.(尽管不太可能)

任何人都可以向我解释为什么这个Redis.eval代码非常快？谢谢!

Answer 1

这是由于滞后,基于对套接字的写入/读取

20% - 将命令写入套接字

80% - 从套接字读取结果

require 'benchmark'
require 'redis'

redis = Redis.new(host: '127.0.0.1', db: 1)
KEYS = 10_000.times.collect { |i| "KEY#{i}" }
KEYS.each { |key| redis.zadd(key, 0, 'DATA') }

script = " 
local sum = 0
for index, key in pairs(KEYS) do
  sum = sum + redis.call('zcard', key);
end
return sum"

Benchmark.bm do |x|
  x.report { puts KEYS.inject(0) { |sum, key| sum + redis.zcard(key) } }
  x.report do
    client = redis.client
    client.send(:ensure_connected) do
      KEYS.inject(0) { |sum, key| sum + client.process([[:zcard, key]]) { client.read } }
    end.tap { |res| puts res}
  end
  x.report do
    client = redis.client
    client.send(:ensure_connected) do
      connection = client.connection
      socket = connection.instance_variable_get(:@sock)
      KEYS.map do |key|
        command = connection.build_command([:zcard, key])
        # Redis::Connection::Ruby
        socket.write(command) # write to socket, 20% of execution time
        line = socket.gets # read from socket, 80% of execution time
        reply_type = line.slice!(0, 1)
        connection.format_reply(reply_type, line)
      end.inject(:+)
    end.tap { |res| puts res}
  end
  x.report { puts redis.eval(script, KEYS) }
end

# user     system      total        real
# 10000
# 0.480000   0.230000   0.710000 (  0.966610)
# 10000
# 0.510000   0.250000   0.760000 (  1.132668)
# 10000
# 0.500000   0.270000   0.770000 (  1.193521)
# 10000
# 0.030000   0.000000   0.030000 (  0.054858)
# [Finished in 4.923s]

因此可能是由于传输延迟而在redis中执行的脚本.