从Python的熊猫数据帧中制作matplotlib散点图

Question

使用Python中matplotlib的pandas数据框制作一系列散点图的最佳方法是什么？

例如,如果我有一个df感兴趣的列的数据框,我发现自己通常将所有内容转换为数组:

import matplotlib.pylab as plt
# df is a DataFrame: fetch col1 and col2 
# and drop na rows if any of the columns are NA
mydata = df[["col1", "col2"]].dropna(how="any")
# Now plot with matplotlib
vals = mydata.values
plt.scatter(vals[:, 0], vals[:, 1])

在绘图之前将所有内容转换为数组的问题在于它会迫使您突破数据帧.

考虑这两个用例,其中具有完整的数据帧对于绘图是必不可少的:

1. 例如,如果您现在想要查看在col3调用中绘制的相应值的所有值,并使用该值为scatter每个点(或大小)着色,该怎么办？你必须回去,拿出非na值col1,col2并检查它们的相应值.

   有没有办法在保留数据帧的同时进行绘图？例如:

   mydata = df.dropna(how="any", subset=["col1", "col2"])
   # plot a scatter of col1 by col2, with sizes according to col3
   scatter(mydata(["col1", "col2"]), s=mydata["col3"])
   

2. 同样,假设您希望根据某些列的值对每个点进行不同的过滤或着色.例如,如果你想自动绘制符合特定截止值的点col1, col2的标签(标签存储在df的另一列中),或者将这些点着色不同,就像人们使用R中的数据帧一样.例:

   mydata = df.dropna(how="any", subset=["col1", "col2"]) 
   myscatter = scatter(mydata[["col1", "col2"]], s=1)
   # Plot in red, with smaller size, all the points that 
   # have a col2 value greater than 0.5
   myscatter.replot(mydata["col2"] > 0.5, color="red", s=0.5)
   

如何才能做到这一点？

编辑回复船员:

你说最好的方法是分别绘制每个条件(如subset_a,subset_b).如果您有许多条件,例如,您希望将散射分为4种类型的点或更多,以不同的形状/颜色绘制每种类型,该怎么办？你如何优雅地应用条件a,b,c等,并确保你然后将"其余"(不是在任何这些条件下的东西)作为最后一步？

同样在您的示例中,您col1,col2根据情况进行不同的绘制col3,如果有NA值会破坏之间的关联col1,col2,col3怎么办？例如,如果你想绘制所有col2基于自己的价值观col3价值,但某些行有任何的NA值col1或col3会迫使用户使用dropna第一.所以你会这样做:

mydata = df.dropna(how="any", subset=["col1", "col2", "col3")

那么你可以mydata像你展示的那样使用绘图 - col1,col2使用值的绘图之间的散点图col3.但是mydata会遗漏一些具有值col1,col2但是NA的点col3,并且那些仍然需要绘制...所以你如何基本上绘制数据的"其余",即不在过滤集中的点mydata？

Answer 1

尝试DataFrame直接将列传递给matplotlib,如下例所示,而不是将它们提取为numpy数组.

df = pd.DataFrame(np.random.randn(10,2), columns=['col1','col2'])
df['col3'] = np.arange(len(df))**2 * 100 + 100

In [5]: df
Out[5]: 
       col1      col2  col3
0 -1.000075 -0.759910   100
1  0.510382  0.972615   200
2  1.872067 -0.731010   500
3  0.131612  1.075142  1000
4  1.497820  0.237024  1700

基于另一列的不同散点大小

plt.scatter(df.col1, df.col2, s=df.col3)
# OR (with pandas 0.13 and up)
df.plot(kind='scatter', x='col1', y='col2', s=df.col3)

基于另一列改变散点图颜色

colors = np.where(df.col3 > 300, 'r', 'k')
plt.scatter(df.col1, df.col2, s=120, c=colors)
# OR (with pandas 0.13 and up)
df.plot(kind='scatter', x='col1', y='col2', s=120, c=colors)

带有图例的散点图

但是,我发现用图例创建散点图的最简单方法是plt.scatter为每个点类型调用一次.

cond = df.col3 > 300
subset_a = df[cond].dropna()
subset_b = df[~cond].dropna()
plt.scatter(subset_a.col1, subset_a.col2, s=120, c='b', label='col3 > 300')
plt.scatter(subset_b.col1, subset_b.col2, s=60, c='r', label='col3 <= 300') 
plt.legend()

更新

据我所知,matplotlib只是用NA x/y坐标或NA样式设置(例如,颜色/大小)跳过点.要查找由于NA而跳过的点,请尝试以下isnull方法:df[df.col3.isnull()]

要将点列表拆分为多种类型,请查看numpyselect,它是一个向量化的if-then-else实现,并接受可选的默认值.例如:

df['subset'] = np.select([df.col3 < 150, df.col3 < 400, df.col3 < 600],
                         [0, 1, 2], -1)
for color, label in zip('bgrm', [0, 1, 2, -1]):
    subset = df[df.subset == label]
    plt.scatter(subset.col1, subset.col2, s=120, c=color, label=str(label))
plt.legend()

Answer 2

加勒特（Garrett）的绝妙回答几乎没有增加，但熊猫也有一种scatter方法。使用它，就像

df = pd.DataFrame(np.random.randn(10,2), columns=['col1','col2'])
df['col3'] = np.arange(len(df))**2 * 100 + 100
df.plot.scatter('col1', 'col2', df['col3'])

Answer 3

我将建议使用另一种方法，使用seaborn更强大的数据绘图工具。您可以使用seaborn scatterplot和定义第 3 列作为hue和size。

工作代码：

import pandas as pd
import seaborn as sns
import numpy as np

#creating sample data 
sample_data={'col_name_1':np.random.rand(20),
      'col_name_2': np.random.rand(20),'col_name_3': np.arange(20)*100}
df= pd.DataFrame(sample_data)
sns.scatterplot(x="col_name_1", y="col_name_2", data=df, hue="col_name_3",size="col_name_3")