开源分析框架？

Question

你有没有想过测试和定量显示你的应用程序是否会更好地作为静态构建或共享构建,剥离或非剥离,upx或没有upx,gcc -O2或gcc -O3,hash或btree等等.如果所以这是你的主题.调整应用程序有数百种方法,但我们如何收集,组织,处理和可视化每个实验的后果.

我一直在寻找几个月的开源应用程序性能工程/概要分析框架,其概念类似于Mozilla的Perftastic,我可以开发/构建/测试/分析数百个不同调优实验的化身.

一些要求:

平台

SUSE32和SUSE64

数据格式

非常灵活,紧凑,简单,分层.有几种可能性,包括

• 自定义CSV
• RRD
• 协议缓冲区
• JSON
• 没有XML.有很多数据,XML太冗长了

数据采集

灵活且可定制的插件.从应用程序收集大量数据,包括来自/ proc的系统数据,系统时间,挂壁时间,CPU利用率,内存配置文件,泄漏,valgrind日志,竞技场碎片,I/O,localhost套接字,二进制大小,开放fds,等等一些来自主机系统.我选择的语言是Python,我会开发这些插件来监视和/或解析所有不同格式的数据,并将它们存储在框架的数据格式中.

标记

所有实验都将被标记,包括GCC版本和编译选项,平台,主机,应用程序选项,实验,构建标记等数据.

制图

历史,比较,层次,动态和静态.

• 应用程序构建由自定义CI服务器完成,该服务器在过去3年中每天多次发布新的应用程序版本.这就是我们需要持续趋势分析的原因.当我们添加新功能,修复错误,更改构建选项时,我们希望自动收集分析数据并查看趋势.这是生成各种静态构建的地方.
• 对于分析,Mozilla动态图非常适合进行比较绘图.在不同标签之间进行比较绘图会很棒.例如,比较N个构建版本,比较平台,比较构建选项等.
• 我们有一个3K测试的测试套件,每个测试将收集数据,并从测试间数据,每个测试,每个标记组,到完成回归套件分组.
• 可能性包括RRDTool,Orca,Graphite

分组基础分析

• 敏
• 马克斯
• 中位数
• 平均
• 标准偏差
• 等等

介绍

所有这些都将通过app服务器呈现和控制,最好是Django或TG.

灵感

• Centreon
• 仙人掌

Answer 1

我不确定你的问题到底是什么，但是为了分析 Java（网络）应用程序，你可以使用 netbeans profiler 和 profiler4j（在 sourceforge 上提供）。我都使用过，并且可以推荐它们而不是 eclipse tptp。

请参阅如何设置 Eclipse TPTP

和http://profiler4j.sourceforge.net/

编辑：抱歉，刚刚注意到您将其标记为Python问题，所以这对您来说一定不是有效的答案。