如何提高cassandra的写入性能？

Question

我有一个名为Emails的专栏系列,我将邮件保存到此CF中,写入5000封邮件需要100 +秒.

我正在使用i3处理器,8gb内存.我的数据中心有6个节点,复制因子= 2.

我们存储在Cassandra中的数据大小是否会影响性能？影响写入性能的所有因素是什么？如何提高性能？

提前致谢..

Answer 1

您要问的一些因素是:

• 客户端和群集之间以及群集中的计算机之间的连接速度和延迟(如@omnibear所述)
• 您正在使用的复制因子 - 如果您逐个插入电子邮件复制因素可能会影响单个操作的延迟,这将导致总时间增加; 我的意思是 - 你可以考虑批处理写操作.
• 你写过你使用i3/8gb - 它是客户机还是服务器机器的配置？服务器计算机的配置,特别是内存量和其上运行的其他进程显然可能会影响性能
• 提交日志和数据文件位置 - 建议将提交日志放在与数据文件不同的物理磁盘上
• 压缩策略 - 我敢打赌它在你的情况下无关紧要,但总的来说它也会影响写入的性能; Cassandra首先将数据写入memtable和commit日志,然后将提交日志刷新到sstables,最后合并sstables(称为压缩); 可以调整此过程的参数以提高特定用例的性能; 你可以在这里阅读C*中的写路径
• 您还可以浏览有关性能的优秀DataStax文档说明:(http://www.datastax.com/documentation/cassandra/2.0/cassandra/dml/dml_throughput_c.html),(http://www.datastax.com/documentation/ cassandra/2.0/cassandra/architecture/architecturePlanningAntiPatterns_c.html)和(http://www.datastax.com/documentation/cassandra/2.0/cassandra/operations/ops_tune_jvm_c.html)

顺便说一句,也许您应该考虑将复制因子增加到3,因为rf = 2不会给你太多 - 如果你使用一致性级别=仲裁,并且一个节点失败,你将无法使用你的集群; 如果您决定将rf = 3与cl = quorum一起使用,如果要实现强一致性,仍然必须读取/写入2个节点,但此外,丢失节点不会使群集不可用.