相关疑难解决方法(0)

我有一个在Linux上运行的C++应用程序,我正在优化它.如何确定代码的哪些区域运行缓慢？

这个网站上已经存在很多性能问题,但是我发现几乎所有这些都是特定于问题且相当狭窄的问题.几乎所有人都重复这些建议,以避免过早优化.

我们假设:

• 代码已经正常工作
• 所选择的算法对于问题的情况已经是最佳的
• 已经测量了代码,并且已经隔离了违规的例程
• 所有优化尝试也将被测量,以确保它们不会使事情变得更糟

我在这里寻找的是在一个关键算法中挤出最后几个百分点的策略和技巧,除此之外别无他法.

理想情况下,尝试使答案语言不可知,并在适用的情况下指出建议策略的任何缺点.

我将使用我自己的初步建议添加回复,并期待Stack Overflow社区可以想到的任何其他内容.

这绝对是主观的,但我想尽量避免它变得有争议.我认为如果人们适当地对待它可能是一个有趣的问题.

对这个问题的想法来自评论跟帖从我的回答到:"你恨你喜欢的语言什么的五件事？" 问题.我争辩说C#中的类应该默认密封 - 我不会把我的推理放在这个问题上,但我可以写一个更全面的解释作为这个问题的答案.我对评论中讨论的热度感到惊讶(目前有25条评论).

那么,你持有什么有争议的意见？我宁愿避免那种以相对较少的基础(例如括号放置)而变得非常宗教的东西,但是例子可能包括诸如"单元测试实际上并不十分有用"或"公共领域真的很好"之类的东西.重要的是(对我来说,无论如何)是你有理由支持你的意见.

请提出您的意见和推理 - 我鼓励人们投票支持有争议和有趣的意见,无论您是否恰好同意这些意见.

每当我提到C++标准库iostream的慢性能时,我都会遇到一阵难以置信的风潮.然而,我有剖析器结果显示在iostream库代码中花费了大量时间(完全编译器优化),并且从iostream切换到特定于操作系统的I/O API和自定义缓冲区管理确实提供了一个数量级的改进.

C++标准库做了多少额外工作,标准是否需要它,它在实践中是否有用？或者有些编译器提供了与手动缓冲区管理竞争的iostream实现吗？

基准

为了解决问题,我编写了几个简短的程序来练习iostreams内部缓冲:

• 将二进制数据放入ostringstream http://ideone.com/2PPYw
• 将二进制数据放入char[]缓冲区http://ideone.com/Ni5ct
• vector<char>使用http://ideone.com/Mj2Fi将二进制数据放入其中back_inserter
• 新:vector<char>简单的迭代器http://ideone.com/9iitv
• 新:将二进制数据直接放入stringbuf http://ideone.com/qc9QA
• 新:vector<char>简单的迭代器加边界检查http://ideone.com/YyrKy

请注意,ostringstream和stringbuf版本运行的迭代次数较少,因为它们的速度要慢得多.

在ideone上,它ostringstream比std:copy+ back_inserter+ 慢大约3倍std::vector,比memcpy原始缓冲区慢大约15倍.当我将实际应用程序切换到自定义缓冲时,这与前后分析一致.

这些都是内存缓冲区,因此iostream的缓慢不能归咎于缓慢的磁盘I/O,过多的刷新,与stdio的同步,或者人们用来解释C++标准库观察到的缓慢的任何其他事情iostream的.

很高兴看到其他系统上的基准测试和常见实现的评论(例如gcc的libc ++,Visual C++,Intel C++)以及标准规定了多少开销.

此测试的基本原理

许多人都正确地指出,iostream更常用于格式化输出.但是,它们也是C++标准提供的二进制文件访问的唯一现代API.但是对内部缓冲进行性能测试的真正原因适用于典型的格式化I/O:如果iostreams无法保持磁盘控制器提供原始数据,那么当他们负责格式化时,他们怎么可能跟上呢？

基准时间

所有这些都是outer(k)循环的每次迭代.

在ideone上(gcc-4.3.4,未知的操作系统和硬件):

• ostringstream:53毫秒
• stringbuf:27毫秒
• vector<char>并且back_inserter:17.6毫秒
• vector<char> 与普通迭代器:10.6毫秒
• vector<char> 迭代器和边界检查:11.4 ms
• char[]:3.7毫秒

在我的笔记本电脑上(Visual C++ 2010 x86,cl …

什么是Chrome调试器的功能栏中的"(程序)"？

我一直在使用cProfile来分析我的代码,它一直很好用.我还使用gprof2dot.py来显示结果(使其更清晰).

但是,cProfile(以及到目前为止我见过的大多数其他Python分析器)似乎只在函数调用级别进行分析.当从不同的地方调用某些函数时,这会引起混淆 - 我不知道呼叫#1或呼叫#2是否占用了大部分时间.当所讨论的函数深度为六级时,这会变得更糟,从其他七个地方调用.

如何进行逐行分析？

而不是这个:

function #12, total time: 2.0s

我想看到这样的事情:

function #12 (called from somefile.py:102) 0.5s
function #12 (called from main.py:12) 1.5s

cProfile确实显示了总共有多少时间"转移"到父级,但是当你有一堆层和互连的调用时,这种连接又会丢失.

理想情况下,我希望有一个GUI来解析数据,然后向我显示我的源文件,每个行的总时间.像这样的东西:

main.py:

a = 1 # 0.0s
result = func(a) # 0.4s
c = 1000 # 0.0s
result = func(c) # 5.0s

然后我就可以点击第二个"func(c)"调用来查看该调用中占用的时间,与"func(a)"调用分开.

那有意义吗？是否有任何分析库收集此类信息？我错过了一些很棒的工具吗？

如今优化似乎是一种迷失的艺术.所有程序员都没有从代码中挤出每一盎司的效率吗？经常在雪地里行走五英里的时候这样做？

本着回归丢失的艺术的精神,您知道的简单(或复杂)变化以优化C#/ .NET代码的一些提示是什么？因为它是如此广泛,取决于一个人想要完成什么,它有助于提供你的提示的背景.例如:

• 当连接多个字符串时,请使用StringBuilder.请参阅底部的链接以了解相关信息.
• 使用string.Compare两个字符串比较,而不是做这样的事情string1.ToLower() == string2.ToLower()

到目前为止,普遍的共识似乎是衡量关键.这种方式忽略了这一点:测量不会告诉你什么是错的,或者如果遇到瓶颈会怎么做.我遇到了字符串连接瓶颈一次,不知道该怎么办,所以这些提示很有用.

我甚至发布这个问题的意思是为了解决常见的瓶颈问题,以及在遇到这些问题之前如何避免它们.它甚至不一定是任何人应该盲目遵循的即插即用代码,而是更多关于获得对性能应该被考虑的理解,至少在某种程度上,并且需要注意一些常见的陷阱.

我可以看到,知道为什么提示有用以及应该应用的位置可能会有用.对于StringBuilder小费,我找到了很久以前在Jon Skeet网站上做过的帮助.

我想知道是否有可能以R类似于matlabProfiler 的方式从-Code 获取配置文件.也就是说,要了解哪个行号特别慢.

到目前为止,我所取得的成绩在某种程度上并不令人满意.我曾经Rprof让我成为个人资料档案.使用summaryRprof我获得如下内容:

$by.self
                  self.time self.pct total.time total.pct
[.data.frame               0.72     10.1       1.84      25.8
inherits                   0.50      7.0       1.10      15.4
data.frame                 0.48      6.7       4.86      68.3
unique.default             0.44      6.2       0.48       6.7
deparse                    0.36      5.1       1.18      16.6
rbind                      0.30      4.2       2.22      31.2
match                      0.28      3.9       1.38      19.4
[<-.factor                 0.28      3.9       0.56       7.9
levels                     0.26      3.7       0.34       4.8
NextMethod                 0.22      3.1       0.82      11.5
...

Run Code Online (Sandbox Code Playgroud)

和

$by.total
                      total.time total.pct self.time self.pct
data.frame                  4.86      68.3      0.48      6.7
rbind …

Run Code Online (Sandbox Code Playgroud)

我试图在我的mac(os x Lion)上描述一些c ++代码,但我找不到任何有用的东西.我正在寻找一个能够告诉我什么函数占用我的CPU时间的探查器(类似于matlab探查器).

这是我尝试过的

• gprof的.这是我在我的linux机器上使用的,但它只是在我的mac上给我空输出(显然是一个已知的问题)
• 仪器.我不能为我的生活弄清楚如何在我编译的二进制文件中分析任何内容.我也找不到任何有用的教程.
• (其他搜索显示Shark,不再可用,Valgrind是记忆).

真的很感激帮助!

我经常使用VisualVM运行Java应用程序,但需要X才能在计算机上运行

我知道我可以通过管理端口连接,但这将是一个离线采样分析,这对我来说是不够的.

所以我正在寻找一种解决方案,我可以从命令行分析正在运行的Java应用程序的方法的CPU使用情况.这对我来说足以在服务器上收集数据,然后可以在不同的机器上分析收集的数据.

更新:

看来我需要更加具体.我想从命令行分析正在运行的Java应用程序,我不想阻止它并重新运行它.