Python函数调用非常慢

Question

这主要是为了确保我的方法是正确的,但我的基本问题是,如果我需要访问函数,那么检查函数外部是否值得.我知道,我知道,过早优化,但在很多情况下,它在函数调用中放置一个if语句以确定是否需要运行其余代码,或者将它放在函数调用之前.换句话说,它不会以任何方式做到这一点.现在,所有的检查都在两者之间混合,我想让它变得更加美观和标准化.

我问的主要原因是因为我看到的其他答案主要是参考timeit,但这给了我负数,所以我切换到这个:

import timeit
import cProfile

def aaaa(idd):
    return idd

def main():
    #start = timeit.timeit()
    for i in range(9999999):
        a = 5
    #end = timeit.timeit()
    #print("1", end - start)

def main2():
    #start = timeit.timeit()
    for i in range(9999999):
        aaaa(5)
    #end = timeit.timeit()
    #print("2", end - start)

cProfile.run('main()', sort='cumulative')
cProfile.run('main2()', sort='cumulative')

得到这个输出

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    0.310    0.310 {built-in method exec}
        1    0.000    0.000    0.310    0.310 <string>:1(<module>)
        1    0.310    0.310    0.310    0.310 test.py:7(main)
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    2.044    2.044 {built-in method exec}
        1    0.000    0.000    2.044    2.044 <string>:1(<module>)
        1    1.522    1.522    2.044    2.044 test.py:14(main2)
  9999999    0.521    0.000    0.521    0.000 test.py:4(aaaa)

对我来说,显示不调用该函数是.31秒,并且调用它需要1.52秒,这几乎慢了5倍.但就像我说的那样,我得到了带有timeit的负数,所以我想确保它实际上很慢.

另外,从我收集的内容来看,函数调用的原因是如此缓慢是因为python需要查找以确保函数在运行之前仍然存在或其他什么？是不是有任何方法只是告诉它喜欢...假设一切仍然存在,以便它不必做不必要的工作(显然)减慢它5倍？

Answer 1

你在这里比较苹果和梨.一种方法执行简单的赋值,另一种方法调用函数.是的,函数调用会增加开销.

你应该把它剥离到最低限度timeit:

>>> import timeit
>>> timeit.timeit('a = 5')
0.03456282615661621
>>> timeit.timeit('foo()', 'def foo(): a = 5')
0.14389896392822266

现在我们所做的只是添加一个函数调用(foo做同样的事情),这样你就可以测量函数调用所需的额外时间.你不能说这差不多慢了4倍,不,函数调用为1.000.000次迭代增加了0.11秒的开销.

如果不是a = 5我们做了0.5秒执行一百万次迭代的事情,将它们移动到一个函数将不会花费2秒.它现在需要0.61秒,因为函数开销不会增长.

函数调用需要操作堆栈,将本地帧推到它上,创建一个新帧,然后在函数返回时再次清除它.

换句话说,将语句移动到函数会增加很小的开销,并且移动到该函数的语句越多,开销就越小,占完成工作总量的百分比.函数永远不会使这些语句本身变慢.

Python函数只是存储在变量中的对象; 您可以将函数分配给不同的变量,将它们替换为完全不同的变量,或者随时删除它们.当你调用一个函数时,你首先引用它们的存储名称(foo)然后调用函数object((arguments)); 查找必须每次都以动态语言进行.

您可以在为函数生成的字节码中看到这一点:

>>> def foo():
...     pass
... 
>>> def bar():
...     return foo()
... 
>>> import dis
>>> dis.dis(bar)
  2           0 LOAD_GLOBAL              0 (foo)
              3 CALL_FUNCTION            0
              6 RETURN_VALUE        

该LOAD_GLOBAL操作码查找名称(foo)在全局命名空间(基本上是一个哈希表查找),结果压栈.CALL_FUNCTION然后调用堆栈上的任何内容,将其替换为返回值.RETURN_VALUE从函数调用返回,再次将堆栈中最顶层的任何内容作为返回值.