无论如何,使石墨中的碳接受所有数据

Question

Graphite中的Carbon监听器经过精心设计和调整,使其在服务器上的负载可以预测,以避免服务器本身充满IO等待或整体系统负载暴涨.如有必要,它将丢弃传入的数据,将服务器负载作为优先级.毕竟,对于存储的典型数据,这没什么大不了的.

我很欣赏这一切.但是,我试图将来自不同来源的大量数据积压到石墨中,而不是在实际数据中抽取实时数据.我有一个来自第三方的可靠数据源,它是一天一天散装给我的.

所以在这种情况下,我不希望任何数据值丢失在地板上.我真的不关心数据导入需要多长时间.我只是想禁用所有的安全机制,让碳做它的事情,并且知道我的所有数据都已经成功.

我正在搜索文档并找到关于在carbon.conf中调整carbon_cache参数的各种建议,但我找不到这个.它开始听起来更像艺术而不是科学.任何帮助赞赏.

Answer 1

首先当然是通过 tcp 监听器（线路接收器）而不是 udp 接收数据，以避免丢失传入点。

石墨中有几种设置可以限制部分管道，但并不总是清楚石墨在达到阈值时会做什么。您必须测试和/或阅读碳代码。

您可能想要调整：

MAX_UPDATES_PER_SECOND = 500（每秒最大磁盘更新次数）

MAX_CREATES_PER_MINUTE = 50（每分钟创建的最大指标数）

对于缓存，USE_FLOW_CONTROL = True并且MAX_CACHE_SIZE = inf（inf 是一个很好的值，因此如果您更改了它，请恢复到此值）

如果您使用中继和/或聚合器，MAX_QUEUE_SIZE = 10000并且USE_FLOW_CONTROL = True很重要。