在NumPy中向量化成对的列元素乘积

Question

我有两个DataFrame：

>>> d1

    A  B
0   4  3
1   5  2
2   4  3

>>> d2

    C  D  E
0   1  4  7
1   2  5  8
2   3  6  9

>>> what_I_want

    AC  AD  AE  BC  BD  BE
0   4   16  28  3   12  21
1   10  25  40  4   10  16
2   12  24  36  9   18  27

两个DataFrame具有相同的行数（例如m），但是具有不同的列数（例如ncol_1，ncol_2）。输出是（ncol_1 * ncol_2）DataFrame。每一列是d1中的一列与d2中的一列的乘积。

我遇到过，np.kron但它并不能完全满足我的要求。我的实际数据有数百万行。

我想知道是否有任何矢量化的方式来做到这一点？我目前有一个itertools.product实现，但是速度非常慢。

Answer 1

与NumPy-broadcasting-一

a = d1.to_numpy(copy=False) # d1.values on older pandas versions
b = d2.to_numpy(copy=False)
df_out = pd.DataFrame((a[:,:,None]*b[:,None,:]).reshape(len(a),-1))
df_out.columns = [i+j for i in d1.columns for j in d2.columns]

对于大数据，利用multi-cores与numexpr-

import numexpr as ne

out = ne.evaluate('a3D*b3D',{'a3D':a[:,:,None],'b3D':b[:,None]}).reshape(len(a),-1)
df_out = pd.DataFrame(out)