在pandas数据框(和)列表上使用scipy pdist

Question

我又遇到了一个奇怪的问题.

假设我有以下虚拟数据框(通过演示我的问题):

import numpy as np
import pandas as pd
import string

# Test data frame
N = 3
col_ids = string.letters[:N]
df = pd.DataFrame(
    np.random.randn(5, 3*N), 
    columns=['{}_{}'.format(letter, coord) for letter in col_ids for coord in list('xyz')])

df

这会产生:

     A_x         A_y         A_z         B_x         B_y         B_z         C_x         C_y         C_z
0   -1.339040    0.185817    0.083120    0.498545   -0.569518    0.580264    0.453234    1.336992   -0.346724
1   -0.938575    0.367866    1.084475    1.497117    0.349927   -0.726140   -0.870142   -0.371153   -0.881763
2   -0.346819   -1.689058   -0.475032   -0.625383   -0.890025    0.929955    0.683413    0.819212    0.102625
3    0.359540   -0.125700   -0.900680   -0.403000    2.655242   -0.607996    1.117012   -0.905600    0.671239
4    1.624630   -1.036742    0.538341   -0.682000    0.542178   -0.001380   -1.126426    0.756532   -0.701805

现在我想scipy.spatial.distance.pdist在这个pandas数据框架上使用.事实证明这是一个非常重要的过程.pdist使用欧几里德距离(2范数)作为点之间的距离度量来计算m个点之间的距离是什么.这些点被排列为矩阵X(源)中的m个n维行向量.

因此,有一些事情需要做,以创建一个在熊猫数据框上运行的函数,以便可以使用pdist函数.您会注意到,当点数非常大时,pdist很方便.我已经尝试制作自己的,适用于单行数据帧,但我不能让它在理想情况下立即在整个数据帧上工作.

这是我的尝试:

from scipy.spatial.distance import pdist, squareform
import numpy as np
import pandas as pd
import string

def Euclidean_distance(df):
    EcDist = pd.DataFrame(index=df.index) # results container
    arr = df.values # Store data frame values into a numpy array
    tag_list =  [num for elem in arr for num in elem] # flatten numpy array into single list
    tag_list_3D = zip(*[iter(tag_list)]*3) # separate list into length = 3 sub-lists, that pdist() can work with
    EcDist = pdist(tag_list_3D) # the distance between m points using Euclidean distance (2-norm)
    return EcDist

首先,我开始以pandas形式创建结果容器,以存储结果.其次,我将pandas数据框保存为numpy数组,以便在下一步中将其保存为列表形式.它必须是列表形式,因为该pdist函数仅对列表进行操作.将数据框保存到数组中时,会将其作为列表存储在列表中.这必须被展平,并保存在'tag_list'变量中.第三,将tag_list进一步简化为长度为3的子列表,使得可以获得每个点的x,y和z坐标,这可以用于找到所有这些点之间的欧几里德距离(在该示例中)有三点:A,B和C各为三维).

如上所述,如果数据帧是单行,则该函数有效,但在给定示例中使用该函数时,它计算5x3点的欧几里德距离,总共产生105个距离.我想要它做的是计算每行的距离(因此pdist一次只能用于1x3向量).这样,我的最终结果,例如,看起来像这样:

   dist_1    dist_2    dist_3
0  0.807271  0.142495  1.759969
1  0.180112  0.641855  0.257957
2  0.196950  1.334812  0.638719
3  0.145780  0.384268  0.577387
4  0.044030  0.735428  0.549897

(这些只是用于显示所需形状的虚拟数字)

因此,如何让我的函数以行方式应用于数据框？或者更好的是,如何让它立即对整个数据框执行功能,然后将结果存储在新的数据框中？

任何帮助将非常感激.谢谢.

Answer 1

如果我理解正确,你就有"群体"的分数.在您的示例中,每个组都有三个点,您可以将它们称为A,B和C.A由三列A_x,A_y,A_z表示,对于B和C也是如此.

我建议您将"宽格式"数据重组为"长"形式,其中每行只包含一个点.然后每行只有三列坐标,然后你会添加一个额外的列来表示一个点所在的组.这是一个例子:

>>> d = pandas.DataFrame(np.random.randn(12, 3), columns=["X", "Y", "Z"])
>>> d["Group"] = np.repeat([1, 2, 3, 4], 3)
>>> d
           X         Y         Z  Group
0  -0.280505  0.888417 -0.936790      1
1   0.823741 -0.428267  1.483763      1
2  -0.465326  0.005103 -1.107431      1
3  -1.009077 -1.618600 -0.443975      2
4   0.535634  0.562617  1.165269      2
5   1.544621 -0.858873 -0.349492      2
6   0.839795  0.720828 -0.973234      3
7  -2.273654  0.125304  0.469443      3
8  -0.179703  0.962098 -0.179542      3
9  -0.390777 -0.715896 -0.897837      4
10 -0.030338  0.746647  0.250173      4
11 -1.886581  0.643817 -2.658379      4

Group == 1的三​​个点对应第一行中的A,B和C; Group == 2的三个点对应第二行中的A,B和C; 等等

使用此结构,按组使用计算成对距离pdist变得简单:

>>> d.groupby('Group')[["X", "Y", "Z"]].apply(lambda g: pandas.Series(distance.pdist(g), index=["D1", "D2", "D3"]))
             D1        D2        D3
Group                              
1      2.968517  0.918435  2.926395
2      3.119856  2.665986  2.309370
3      3.482747  1.314357  2.346495
4      1.893904  2.680627  3.451939

您可以使用现有设置执行类似的操作,但这会更加尴尬.您设置方式的问题在于您以难以提取的方式编码关键信息.有关哪些列是X坐标以及哪些是Y或Z坐标的信息,以及有关哪些列在您的设置中引用A点与B或C的信息,将在列的文本名称中进行编码.作为人类,您只需通过查看它们就可以看到哪些列是X值,但是以编程方式指定需要解析列的字符串名称.

您可以在如何使用您的'{}_{}'.format(letter, coord)业务创建列名中看到这一点.这意味着为了使用pdist您的数据,您必须执行将列名称解析为字符串的反向操作,以便确定要比较的列.不用说,这将是尴尬的.另一方面,如果您将数据放入"长"形式,则没有这样的困难:所有点的X坐标在一列中排列,同样对于Y和Z,以及有关哪些点的信息比较也包含在一列("组"列)中.

当您想对数据子集进行大规模操作时,通常最好将事物拆分为单独的行.这允许您利用groupbyscipy工具的功能,通常也是scipy工具所期望的功能.