我有一个5节点的Cassandra集群,每个节点上有大约650 GB的数据,复制因子为3.我最近开始在/var/log/cassandra/system.log中看到以下错误.
INFO [ReadStage-5] 2017-10-17 17:06:07,887 NoSpamLogger.java:91 - 达到的最大内存使用量(1.000GiB),不能分配1.000MiB的块
我试图增加file_cache_size_in_mb,但是很快就会发现同样的错误.我试图为此参数高达2GB,但无济于事.
发生错误时,CPU利用率飙升,读取延迟非常不稳定.我看到这个潮流每半小时出现一次.请注意下面列表中的时间.
INFO [ReadStage-5] 2017-10-17 17:06:07,887 NoSpamLogger.java:91 - 达到的最大内存使用量(1.000GiB),不能分配1.000MiB INFO的块[ReadStage-36] 2017-10-17 17: 36:09,807 NoSpamLogger.java:91 - 达到的最大内存使用量(1.000GiB),不能分配1.000MiB INFO的块[ReadStage-15] 2017-10-17 18:05:56,003 NoSpamLogger.java:91 - 达到的最大内存使用量(2.000GiB),不能分配1.000MiB INFO的块[ReadStage-28] 2017-10-17 18:36:01,177 NoSpamLogger.java:91 - 达到的最大内存使用量(2.000GiB),不能分配1.000MiB的块
我有两个表按小时划分,分区很大.防爆.以下是nodetool表统计信息的输出
Read Count: 4693453
Read Latency: 0.36752741680805157 ms.
Write Count: 561026
Write Latency: 0.03742310516803143 ms.
Pending Flushes: 0
Table: raw_data
SSTable count: 55
Space used (live): 594395754275
Space used (total): 594395754275
Space used by snapshots (total): 0
Off heap memory used (total): 360753372 …