获得准确的石墨stats_counts

Question

我们运行了etsy/statsd节点应用程序,每10秒将统计信息刷新为碳/低语.如果发送100个增量(计数),在前10秒内,石墨会正确显示它们,如:

localhost:3000/render?from=-20min&target=stats_counts.test.count&format=json

[{"target": "stats_counts.test.count", "datapoints": [
 [0.0, 1372951380], [0.0, 1372951440], ... 
 [0.0, 1372952460], [100.0, 1372952520]]}]

然而,10秒后,这个数字下降到0,null和33.3.最终,它在初始增量数的1/6处稳定,在这种情况下16.6.

/opt/graphite/conf/storage-schemas.conf 是:

[sixty_secs_for_1_days_then_15m_for_a_month]
pattern = .*
retentions = 10s:10m,1m:1d,15m:30d

我想获得准确的计数,石墨是否平均了60秒窗口的数据而不是总结它？使用积分函数,经过一段时间后,显然给出:

localhost:3000/render?from=-20min&target=integral(stats_counts.test.count)&format=json

[{"target": "stats_counts.test.count", "datapoints": [
 [0.0, 1372951380], [16.6, 1372951440], ... 
 [16.6, 1372952460], [16.6, 1372952520]]}]

Answer 1

石墨数据存储

Graphite使用存储在storage-schemas.conf和storage-aggregation.conf中的设置组合来管理数据保留.我看到你的保留策略(来自storage-schemas.conf的片段)告诉Graphite只存储1个数据点以获得最高分辨率(例如10s:10m),并且随着数据的老化和移动它应该管理这些数据点的聚合进入较旧的间隔(定义较低的分辨率 - 例如1m:1d).在您的情况下,数据在10分钟后进入下一个保留间隔,10分钟后,数据将根据storage-aggregation.conf中的设置进行汇总.

聚合/下采样

当数据老化并且落入指定较低分辨率保留的时间间隔时,会发生聚合/下采样.在您的情况下,您将为每10秒间隔存储1个数据点,但是一旦该数据超过10分钟,石墨现在将数据存储为1个数据点,持续1分钟.这意味着你必须告诉石墨它应该如何采取10秒数据点(你每分钟有6个数据点)并将它们聚合成整个一分钟的1个数据点.应该平均吗？应该总结吗？根据数据类型(例如计时,计数器),这可能会产生很大的不同,正如您在帖子中所暗示的那样.

默认情况下,石墨会在数据聚合成较低分辨率数据时对其进行平均.当应用于计时器(甚至计量)数据时,使用平均值来执行聚合是有意义的.也就是说,你正在处理计数器,所以你要总结.

例如,在storage-aggregation.conf中:

[count]
pattern = \.count$
xFilesFactor = 0
aggregationMethod = sum

UI(和原始数据)聚合/下采样

在查看图形或查看不同时间段的原始(json)数据时,了解聚合/下采样数据的表示方式也很重要,因为数据保留架构阈值直接影响图形.在你的情况下,你正在查询render?from=-20min哪个穿过你的10:10米边界.

Graphite将根据定义的最低分辨率精度显示(并执行实时下采样)数据.换句话说,这意味着如果您绘制跨越一个或多个保留间隔的数据,您将相应地进行汇总.一个例子将有所帮助(假设保留:保留= 10s:10m,1m:1d,15m:30d)

任何数据不超过最近10分钟的图表将显示10秒聚合.当您跨越10分钟阈值时,您将开始根据storage-aggregation.conf中设置的策略看到累计1分钟的计数数据.

摘要/ tldr;

因为你是绘图/查询20分钟的数据(例如render?from=-20min你肯定是落入精度较低的存储设置)(即10S:10M,1M:只有1D,15M:30D),这意味着聚集发生,根据你的聚合策略. 您应该确认您正在使用sumstorage-aggregation.conf文件中的正确模式. 此外,您可以将图形/查询时间范围缩短到小于10分钟,这将避免动态汇总.