jmi*_*loy 6 python linux time multithreading multiprocessing
我使用time.clock
和在Ubuntu上定时了一段python代码time.time
:
clock elapsed time: 8.770 s
time elapsed time: 1.869 s
Run Code Online (Sandbox Code Playgroud)
我知道time.time使用系统时间和time.clock使用处理器时钟.当time.time给出比time.clock更长的经过时间时,对我来说很有意义:处理器在整个时间内都没有活动(例如,调用时间time.sleep
).
但是为什么/何时处理器时钟会比系统时间大得多?
附录
我做了一个粗略的测试,使用标准映射计算相同的函数,使用进程池映射和线程池映射.可以理解,进程池速度更快,线程池更慢.更有趣的是:时钟时序小于处理器池的时间,但线程池中的时间更长.
同样,我理解为什么处理器池的时钟时序较少:假设主进程没有做太多事情,只是等待池进程完成.但是为什么线程池的时钟时间更长?任何见解?
结果:
map
time 1738.8
clock 1739.6
mp pool
time 580.1
clock 15.9
thread pool
time 3455.3
clock 5378.9
Run Code Online (Sandbox Code Playgroud)
码:
from time import clock, sleep, time
from multiprocessing.pool import ThreadPool
from multiprocessing import Pool
import random
def f(i):
x = [random.random() for j in range(100000)]
return x[i]
def t(fn):
t0, c0 = time(), clock()
for i in range(10): fn(f,range(16))
print ' time ', round(1000*(time()-t0),1)
print ' clock', round(1000*(clock()-c0),1)
if __name__ == '__main__':
print 'map'
t(map)
pool = Pool(8)
print 'mp pool'
t(pool.map)
pool = ThreadPool(8)
print 'thread pool'
t(pool.map)
Run Code Online (Sandbox Code Playgroud)
如果在多个 CPU 上执行,CPU 时间可能会超过实际运行时间。我没有在 Python 中具体看到过这一点,但在使用clock
来自 C 的多线程函数时我确实看到过这一点,并且大概 Python 代码只是直接调用这个 C 函数。
关于“为什么”:你的思考方式是错误的。重要的是有多少个核心正在运行您的程序。如果一个核心在两秒的挂起时间内运行一秒,这对您来说是有意义的,但如果四个核心在同一时间间隔内各运行一秒呢?那么 2 秒的墙上时间中有 4 秒的 CPU 时间。内核占用测量所有内核的 CPU 时间。如果多个核心在同一秒内运行,那么您在那一秒内花费了多个 CPU 秒。这就是对调度程序来说很重要的成本度量,并且可能是clock
构建的度量标准。这可能不是您关心的指标,但这就是它的工作原理。
归档时间: |
|
查看次数: |
1948 次 |
最近记录: |