在python中找到两个kde图之间的非重叠区域

Question

我试图根据目标变量的 kde 分布来确定某个功能是否重要。我知道如何绘制 kde 情节并在查看情节后进行猜测，但是否有更正式的做法？比如我们可以计算两条曲线之间非重叠区域的面积吗？

当我用谷歌搜索两条曲线之间的区域时，有很多链接，但没有一个可以解决我的确切问题。

注意：
此图的主要目的是确定该特征是否重要。所以，如果我在这里遗漏了任何隐藏的概念，请进一步建议我。

我想要做的是设置一些阈值，例如 0.2，如果non-overlapping area > 0.2，则断言该功能很重要，否则不重要。

MWE：

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

df = sns.load_dataset('titanic')

x0 = df.loc[df['survived']==0,'fare']
x1 = df.loc[df['survived']==1,'fare']

sns.kdeplot(x0,shade=1)
sns.kdeplot(x1,shade=1)

输出

类似链接

• 填充seaborn / matplotlib中两个正态分布之间的重叠区域
• Python：两个函数之间的重叠（kde 和 normal 的 PDF）
• 填充python中两条曲线之间的区域

Answer 1

以下是我对问题计算部分的看法：

• 为了比较 kde，它们需要使用相同的带宽进行计算。（默认带宽取决于 x 值的数量，两个集合的数量可能不同。）
• 两条正曲线的交点只是它们的最小值。
• 曲线的面积可以通过梯形规则近似：np.trapz。

以下是将这些想法转换为一些示例代码并说明情节：

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from scipy.stats import gaussian_kde

df = sns.load_dataset('titanic')

x0 = df.loc[df['survived'] == 0, 'fare']
x1 = df.loc[df['survived'] == 1, 'fare']

kde0 = gaussian_kde(x0, bw_method=0.3)
kde1 = gaussian_kde(x1, bw_method=0.3)

xmin = min(x0.min(), x1.min())
xmax = max(x0.max(), x1.max())
dx = 0.2 * (xmax - xmin) # add a 20% margin, as the kde is wider than the data
xmin -= dx
xmax += dx

x = np.linspace(xmin, xmax, 500)
kde0_x = kde0(x)
kde1_x = kde1(x)
inters_x = np.minimum(kde0_x, kde1_x)

plt.plot(x, kde0_x, color='b', label='No')
plt.fill_between(x, kde0_x, 0, color='b', alpha=0.2)
plt.plot(x, kde1_x, color='orange', label='Yes')
plt.fill_between(x, kde1_x, 0, color='orange', alpha=0.2)
plt.plot(x, inters_x, color='r')
plt.fill_between(x, inters_x, 0, facecolor='none', edgecolor='r', hatch='xx', label='intersection')

area_inters_x = np.trapz(inters_x, x)

handles, labels = plt.gca().get_legend_handles_labels()
labels[2] += f': {area_inters_x * 100:.1f} %'
plt.legend(handles, labels, title='Survived?')
plt.title('Fare vs Survived')
plt.tight_layout()
plt.show()