为什么在redis中使用管道时,有100,000条记录这么慢？

Question

据说pipeline当set/getredis需要很多时,这是一个更好的方法,所以这是我的测试代码:

public class TestPipeline {

    /**
     * @param args
     */
    public static void main(String[] args) {
        // TODO Auto-generated method stub

        JedisShardInfo si = new JedisShardInfo("127.0.0.1", 6379);
        List<JedisShardInfo> list = new ArrayList<JedisShardInfo>();
        list.add(si);
        ShardedJedis jedis = new ShardedJedis(list);
        long startTime = System.currentTimeMillis();
        ShardedJedisPipeline pipeline = jedis.pipelined();
        for (int i = 0; i < 100000; i++) {
            Map<String, String> map = new HashMap<String, String>();
            map.put("id", "" + i);
            map.put("name", "lyj" + i);
            pipeline.hmset("m" + i, map);
        }
        pipeline.sync();
        long endTime = System.currentTimeMillis();
        System.out.println(endTime - startTime);
    }
}

当我运行它时,暂时没有这个程序的响应,但是当我不使用时pipe,它只需要20073毫秒,所以我很困惑,为什么它没有更好pipeline,差距有多大!

谢谢你回答我,几个问题,你如何计算6MB数据？当我发送10K数据时,管道总是比正常模式更快,但是100k,管道没有响应.我认为100-1000操作是一个明智的选择,如下所述.是不是有任何JIT,因为我不明白？

Answer 1

在编写此类基准测试之前需要考虑几点(尤其是使用JVM的基准测试):

• 在大多数(物理)机器上,当使用流水线时,Redis能够处理超过100K的操作数/秒.您的基准仅处理100K项目,因此它的持续时间不足以产生有意义的结果.此外,JIT的连续阶段没有时间开始.

• 绝对时间不是一个非常相关的指标.在保持基准运行至少10秒的同时显示吞吐量(即每秒的操作次数)将是更好且更稳定的度量.

• 你的内循环会产生大量垃圾.如果您计划对Jedis + Redis进行基准测试,那么您需要将自己程序的开销保持在较低水平.

• 因为你已经在main函数中定义了所有内容,所以你的循环不会被JIT编译(取决于你使用的JVM).只有内部方法调用可能是.如果希望JIT高效,请确保将代码封装到可由JIT编译的方法中.

• 可选地,您可能希望在执行实际测量之前添加预热阶段,以避免计算使用裸骨解释器运行第一次迭代的开销以及JIT本身的成本.

现在,关于Redis流水线,您的管道太长了.管道中的100K命令意味着Jedis必须在向Redis发送任何内容之前构建一个6MB的缓冲区.这意味着套接字缓冲区(在客户端,可能是服务器端)将饱和,并且Redis也必须处理6 MB通信缓冲区.

此外,您的基准测试仍然是同步的(使用管道不会神奇地使其异步).换句话说,在将管道的最后一个查询发送到Redis之前,Jedis不会开始阅读回复.当管道太长时,它有可能阻塞事物.

考虑将管道的大小限制为100-1000个操作.当然,它会产生更多的往返,但通信栈的压力将降低到可接受的水平.例如,考虑以下程序:

import redis.clients.jedis.*;
import java.util.*;

public class TestPipeline {

    /**
     * @param args
     */

    int i = 0; 
    Map<String, String> map = new HashMap<String, String>();
    ShardedJedis jedis;  

    // Number of iterations
    // Use 1000 to test with the pipeline, 100 otherwise
    static final int N = 1000;

    public TestPipeline() {
      JedisShardInfo si = new JedisShardInfo("127.0.0.1", 6379);
      List<JedisShardInfo> list = new ArrayList<JedisShardInfo>();
      list.add(si);
      jedis = new ShardedJedis(list);
    } 

    public void push( int n ) {
     ShardedJedisPipeline pipeline = jedis.pipelined();
     for ( int k = 0; k < n; k++) {
      map.put("id", "" + i);
      map.put("name", "lyj" + i);
      pipeline.hmset("m" + i, map);
      ++i;
     }
     pipeline.sync(); 
    }

    public void push2( int n ) {
     for ( int k = 0; k < n; k++) {
      map.put("id", "" + i);
      map.put("name", "lyj" + i);
      jedis.hmset("m" + i, map);
      ++i;
     }
    }

    public static void main(String[] args) {
      TestPipeline obj = new TestPipeline();
      long startTime = System.currentTimeMillis();
      for ( int j=0; j<N; j++ ) {
       // Use push2 instead to test without pipeline
       obj.push(1000); 
       // Uncomment to see the acceleration
       //System.out.println(obj.i);
     }
     long endTime = System.currentTimeMillis();
     double d = 1000.0 * obj.i;
     d /= (double)(endTime - startTime);
     System.out.println("Throughput: "+d);
   }
 }

使用此程序,您可以使用或不使用流水线进行测试.使用流水线时,请务必增加迭代次数(N参数),以使其运行至少10秒.如果你在循环中取消注释println,你会发现程序在开始时很慢并且随着JIT开始优化而变得更快(这就是为什么程序应该至少运行几秒才能产生有意义的结果).

在我的硬件(旧的Athlon盒子)上,当使用管道时,我可以获得8-9倍的吞吐量.通过优化内循环中的键/值格式化并添加预热阶段,可以进一步改进程序.