我有一个cassandra ubuntu视觉集群,需要对其进行基准测试.
我尝试使用yahoo的ycsb(如果可能的话,不使用maven).我使用cassandra 3.0.1但是我找不到ycsb的套装版本.
我不想改成最古老版本的cassandra(ycsb最新cassandra-binding适用于cassandra 2.x)
我该怎么办?
我们最近使用YCSB(https://github.com/brianfrankcooper/YCSB/wiki)对Oracle 10g和MongoDB进行了基准测试,当我们尝试增加1,000,000个数据集的线程数时,Oracle的性能在4个线程之后保持不变,但MongoDB继续执行更好,更好,直到8个线程,之后只有读取更好,写入和更新(操作/秒)保持不变.
我们在2个CPU Xeon四核(总共8个核心)+ 8 GB RAM上运行此基准测试.
我们观察到,与单线程客户端相比,MongoDB在多线程客户端上的表现更好,我的问题是:当MongoDB在更多负载下表现更好时,为什么不能以较少的负载执行相同操作(比如只需几个线程) )通过利用多核?
我在Amazon XLarge实例(16Gb RAM,4核CPU)上部署了4个节点HBase v0.90.4-cdh3u3集群,其中8Gb堆-Xmx分配给HRegion服务器,2Gb用于数据节点.HMaster\ZK\Namenode位于单独的XLarge实例上.目标数据集是1亿条记录(每条记录是10个字段,100个字节).基准测试从并行100个线程同时执行.
与YCSB团队在YCSB论文中所取得的成绩相比,我对阅读延迟感到困惑.它们的吞吐量高达7000 ops/sec,延迟为15 ms(第10页,读取延迟图表).在90%读取/ 10%写入工作负载时,我无法获得高于2000 ops/sec的吞吐量.写入非常快,禁用自动提交(响应在几毫秒内),而读取延迟平均不低于70毫秒.
这些是我使用的一些HBase设置:
您建议使用哪些设置来查看\ tune以加快HBase的读取速度?
任何人都可以在运行 YCSB 工作负载时描述 Zipfian 和 Uniform 分布之间的区别吗?
这是 YCSB 的核心属性:https : //github.com/brianfrankcooper/YCSB/wiki/Core-Properties
有谁知道是否有任何YCSB客户端/驱动程序可用于对VoltDB进行基准测试?甚至任何参考出版物/博客/文章/研究项目?
我们可以将TPC工作负载用于VoltDB基准测试吗?
非常感谢大家.
我正在使用 YCSB 对许多不同的 NoSQL 数据库进行基准测试。但是,在处理客户端线程的数量时,我很难解释吞吐量与延迟的结果。
例如,当使用 16 个客户端线程对 cassandra 运行工作负载 a(50/50 读取和更新)进行基准测试时,将执行以下命令:
bin/ycsb run cassandra-cql -p hosts=xx.xx.xx.xx -p recordcount=525600 -p operationcount=525600 -threads 16 -P workloads/workloada -s > workloada_525600_16_threads_run_res.txt
Run Code Online (Sandbox Code Playgroud)
这给出了以下输出:
[OVERALL], RunTime(ms), 62751
[OVERALL], Throughput(ops/sec), 8375.962136061577
[TOTAL_GCS_PS_Scavenge], Count, 64
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 289
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.46055042947522745
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 64
[TOTAL_GC_TIME], Time(ms), 289
[TOTAL_GC_TIME_%], Time(%), 0.46055042947522745
[READ], Operations, 262650
[READ], AverageLatency(us), 1844.6075042832667
[READ], MinLatency(us), 290
[READ], MaxLatency(us), 116159
[READ], 95thPercentileLatency(us), 3081
[READ], 99thPercentileLatency(us), 7551 …Run Code Online (Sandbox Code Playgroud)