wol*_*e87 5 python numpy vectorization
我有两个大小的矢量:
A = (32,512,640)
B = (4,512)
Run Code Online (Sandbox Code Playgroud)
我需要将A和B相乘,以便得到一个新的向量:
C = (4,32,512,640)
Run Code Online (Sandbox Code Playgroud)
另一种思考方式是矢量B的每一行沿着A的轴= -2相乘,这导致新的1,32,512,640立方体.B行的每一行可以循环形成1,32,512,640个立方体,然后可以通过使用np.concatenate或者使用它来构建C up np.vstack,例如:
# Sample vectors, where the dimensions aren't necessarily known
a = np.arange(32*512*465, dtype='f4').reshape((32,512,465))
b = np.ones((4,512), dtype='f4')
# Using a loop
d = []
for row in b:
d.append(np.expand_dims(row[None,:,None]*a, axis=0))
# Or using list comprehension
d = [np.expand_dims(row[None,:,None]*a,axis=0) for row in b]
# Stacking the final list
result = np.vstack(d)
Run Code Online (Sandbox Code Playgroud)
但我想知道是否有可能使用类似的东西np.einsum或np.tensordot将这个矢量化全部放在一行中.我还在学习如何使用这两种方法,所以我不确定它是否合适.
谢谢!
我们可以broadcasting在扩展尺寸后B利用None/np.newaxis-
C = A * B[:,None,:,None]
Run Code Online (Sandbox Code Playgroud)
有了einsum,它会 -
C = np.einsum('ijk,lj->lijk',A,B)
Run Code Online (Sandbox Code Playgroud)
这里没有减少总和 - 所以einsum不会比这更好explicit-broadcasting.但是,因为我们正在寻找可以使用的Pythonic解决方案,一旦我们通过它的字符串表示法.
让我们来完成一些时间 -
In [15]: m,n,r,p = 32,512,640,4
...: A = np.random.rand(m,n,r)
...: B = np.random.rand(p,n)
In [16]: %timeit A * B[:,None,:,None]
10 loops, best of 3: 80.9 ms per loop
In [17]: %timeit np.einsum('ijk,lj->lijk',A,B)
10 loops, best of 3: 109 ms per loop
# Original soln
In [18]: %%timeit
...: d = []
...: for row in B:
...: d.append(np.expand_dims(row[None,:,None]*A, axis=0))
...:
...: result = np.vstack(d)
10 loops, best of 3: 130 ms per loop
Run Code Online (Sandbox Code Playgroud)
杠杆作用 multi-core
我们可以充分利用多核心能力numexpr,这是适合arithmetic operations和large data,因此在这里获得一些性能提升.我们一起来吧 -
In [42]: import numexpr as ne
In [43]: B4D = B[:,None,:,None] # this is virtually free
In [44]: %timeit ne.evaluate('A*B4D')
10 loops, best of 3: 64.6 ms per loop
Run Code Online (Sandbox Code Playgroud)
在一行中:ne.evaluate('A*B4D',{'A':A,'B4D' :B[:,None,:,None]}).
Related post 关于如何控制多核功能.
| 归档时间: |
|
| 查看次数: |
114 次 |
| 最近记录: |