标签: graphite

我目前的保留规则是这样的:

[whatever]
priority = 110
pattern = ^stats\.whatever\..*
retentions = 60:10080,600:262974

如果我理解正确,这将节省2天1分钟数据和5年10分钟数据.

在过去的几个小时里,我一直在向石墨发送数据,我可以看到这些数据的图表,但仅适用于不到7小时的范围.如果我尝试将此数据可视化一段时间(例如1天),则生成的图形不会显示单个数据点.

这是由我的保留规则引起的吗？

提前致谢.

我使用statsd测量统计数据,使用Graphite显示这些数据.无论如何,我想在统计软件中做一个更复杂的分析,找出各种变量之间的关系.

为了做到这一点,我需要"原始"数据,这些数据通常在Graphite中显示为彩色线条.是否可以以CSV格式获取数据？我认为,每10秒采样1次的数据将是完美的,这是统计的默认行为.

这是过去24小时的统计信息显示(在Graphite Composer中):

这是"过去14天"统计数据的显示:

那里没什么区别.我无法说服Graphite显示过去24小时内任何时段的任何数据.

以下是storage-schemas.conf(我正在使用StatsD)的相关条目:

[stats]
pattern = ^stats.*
retentions = 10:2160,60:10080,600:262974

[stats_counts]
pattern = ^stats_counts.*
retentions = 10:2160,60:10080,600:262974

和我的storage-aggregation.conf:

[min]
pattern = \.min$
xFilesFactor = 0
aggregationMethod = min

[max]
pattern = \.max$
xFilesFactor = 0
aggregationMethod = max

[sum]
pattern = \.count$
xFilesFactor = 0
aggregationMethod = sum

[default_average]
pattern = .*
xFilesFactor = 0
aggregationMethod = average

到目前为止,我有五天左右的数据.我错过了什么？

已编辑添加:

我想我应该提一下,我开始使用默认设置,storage-schemas.conf并且只在昨天重建了我的耳语数据库文件以匹配上述配置.我不认为这应该是相关的,但它确实存在.

更新:

我正在使用2012年5月发布的来自PyPI的0.9.10石墨网和耳语.

我正在使用结构化流来从Kafka读取数据并创建各种聚合度量.我使用了Graphite sink metrics.properties.我见过较旧的Spark版本中的应用程序具有与流相关的指标.我没有看到结构化流媒体的流媒体相关指标.我究竟做错了什么？

例如 - 无法找到未处理的批次或运行批次或上次完成的批次总延迟.

我通过设置启用了流量指标:

SparkSession.builder().config("spark.sql.streaming.metricsEnabled",true)

即便如此,我只得到3个指标:

• driver.spark.streaming.inputrate
• driver.spark.streaming.latency
• driver.spark.streaming.processingrate

这些指标在它们之间存在差距.它也会在应用程序启动后很晚才开始显示.如何获得与grafana广泛的流媒体相关指标？

我检查StreamingQueryProgress.我们只能使用此方法以编程方式创建自定义指标.有没有办法可以消耗Spark流已经发送到我提到的接收器的指标？

我正在开始检测Web应用程序,并使用StatsD收集尽可能多的相关指标.例如,以下是我目前使用的高级度量标准名称的几个示例:

http.responseTime
http.status.4xx
http.status.5xx
view.renderTime
oauth.begin.facebook
oauth.complete.facebook
oauth.time.facebook
users.active

......还有很多很多.我现在正在努力解决的问题是为各种指标建立一致的层次结构和命名约定,以便当前的指标有意义,并且有一些逻辑存储桶可以在其中添加未来的指标.

我的问题有两个:

1. 您收集哪些相关指标,您发现不可或缺？
2. 您使用什么命名结构对指标进行分类？

我很难理解Graphite和Kibana 3的集成来监控日志和系统命中率.我指的是这里描述的日志管理系统中的图.

1. 考虑到Kibana 3里程碑4中的新功能,我们是否可以收集系统命中注意事项并将其直接存储到弹性搜索中而不是石墨中,并使用单个kibana仪表板(在分布式系统中实施哪些是正确的选择,重点在于性能和低记忆足印)？
2. 当kibana - Elasticsearch组合现在支持计数和简单统计时,为什么我们必须使用StatsD和石墨？
3. 如果我们决定使用石墨和kibana,我们如何将它集成到一个仪表板中？
4. 是否有集成仪表板(kibana和graphitos/graph explorer/orion/pencil)的教程？

提前致谢.

我已配置Graphite来监控我的应用程序指标.我配置Zabbix来监控我的服务器CPU和其他指标.现在我想将一些关键的Graphite指标传递给Zabbix,为它们添加触发器.

所以我想做点什么

$ whisper get prefix1.prefix2.metricName
> 155

可能吗？

PS我知道Graphite-API项目,我不想安装额外的应用程序.

我有以下指标:

• folsomite.<host>.cache.hit1
• folsomite.<host>.cache.hit2
• folsomite.<host>.cache.miss1
• folsomite.<host>.cache.miss2
• folsomite.<host>.cache.miss3

(我正在使用的缓存库有2种命中:第一次机会和第二次机会,以及3种口味的错过)

我想算一算(hit1 + hit2) / (miss1 + miss2 + miss3).我以为我会从计算开始(hit1 + hit2),但如果我使用sumSeriesas sumSeries(folsomite.*.cache.hit*),那么它<host>也会对值进行求和.

如何在一些通配符上汇总多个指标,而不是对其他通配符进行求和？或者我如何在保留通配符的同时专门添加两个(或更多指标)？

并且,在完成此操作后,我可以将一个(求和)结果除以另一个吗？

编辑:我实际上是使用grafana来渲染图形.这有什么区别吗？

我正在通过发送统计信息到Graphite服务器statsd.我的统计数据相当精细,开发人员可以轻松添加.我想汇总匹配某种模式的所有统计数据(stats.timers.api.*.200.count例如).Graphite中有可能吗？

如果没有,是否有其他我应该关注的系统可以从中生成这种类型的汇总数据statsd？或者这是我应该在我的statsd配置中直接做的事情？

我正在准备重构一些Graphite度量标准名称,并希望能够保留历史数据.是否可以重命名.wsp文件(如果更高级别的组件发生更改,可能会移动到新目录)？

示例:group.subgroup1.metric存储为:

/opt/graphite/storage/whisper/group/subgroup1/metric.wsp

我可以简单地停止加载数据并将metric.wsp移动到metricnew.wsp吗？

我可以将metric.wsp移动到whisper/group/subgroup2/metric.asp吗？