熊猫的get_dummies与Sklearn的OneHotEncoder()::什么更有效？

Question

我正在学习不同的方法来将分类变量转换为机器学习分类器的数字.我遇到了这个pd.get_dummies方法,sklearn.preprocessing.OneHotEncoder()我想看看它们在性能和使用方面有何不同.

我找到了一个关于如何OneHotEnocder()在https://xgdgsc.wordpress.com/2015/03/20/note-on-using-onehotencoder-in-scikit-learn-to-work-on-categorical-features/上使用的教程,因为该sklearn文件并没有这个功能也很有帮助.我有一种感觉,我没有正确地做到这一点......但是

有人可以解释使用pd.dummies过的优点和缺点,sklearn.preprocessing.OneHotEncoder()反之亦然吗？我知道这OneHotEncoder()给你一个稀疏矩阵但除此之外我不确定它是如何使用的,以及该pandas方法的好处是什么.我用它效率不高吗？

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
sns.set()

%matplotlib inline

#Iris Plot
iris = load_iris()
n_samples, m_features = iris.data.shape

#Load Data
X, y = iris.data, iris.target
D_target_dummy = dict(zip(np.arange(iris.target_names.shape[0]), iris.target_names))

DF_data = pd.DataFrame(X,columns=iris.feature_names)
DF_data["target"] = pd.Series(y).map(D_target_dummy)
#sepal length (cm)  sepal width (cm)  petal length (cm)  petal width (cm)  \
#0                  5.1               3.5                1.4               0.2   
#1                  4.9               3.0                1.4               0.2   
#2                  4.7               3.2                1.3               0.2   
#3                  4.6               3.1                1.5               0.2   
#4                  5.0               3.6                1.4               0.2   
#5                  5.4               3.9                1.7               0.4   

DF_dummies = pd.get_dummies(DF_data["target"])
#setosa  versicolor  virginica
#0         1           0          0
#1         1           0          0
#2         1           0          0
#3         1           0          0
#4         1           0          0
#5         1           0          0

from sklearn.preprocessing import OneHotEncoder, LabelEncoder
def f1(DF_data):
    Enc_ohe, Enc_label = OneHotEncoder(), LabelEncoder()
    DF_data["Dummies"] = Enc_label.fit_transform(DF_data["target"])
    DF_dummies2 = pd.DataFrame(Enc_ohe.fit_transform(DF_data[["Dummies"]]).todense(), columns = Enc_label.classes_)
    return(DF_dummies2)

%timeit pd.get_dummies(DF_data["target"])
#1000 loops, best of 3: 777 µs per loop

%timeit f1(DF_data)
#100 loops, best of 3: 2.91 ms per loop

Answer 1

对于机器学习，您几乎肯定要使用sklearn.OneHotEncoder。对于其他任务，例如简单分析，您可能可以使用pd.get_dummies，这更加方便。

请注意，sklearn.OneHotEncoder它已更新为最新版本，因此它确实接受分类变量的字符串以及整数。

关键是sklearn编码器创建了一个持久的函数，然后可以将其应用于使用相同分类变量且结果一致的新数据集。

from sklearn.preprocessing import OneHotEncoder

# Create the encoder.
encoder = OneHotEncoder(handle_unknown="ignore")
encoder.fit(X_train)    # Assume for simplicity all features are categorical.

# Apply the encoder.
X_train = encoder.transform(X_train)
X_test = encoder.transform(X_test)

注意我们如何将通过创建的相同编码器应用于X_train新数据集X_test。

考虑如果X_test包含X_train的变量级别与其变量之一不同，会发生什么情况。例如，假设X_train["color"]仅包含"red"和"green"，但除这些之外，X_test["color"]有时还包含"blue"。

如果使用pd.get_dummies，X_test将最终"color_blue"导致X_train没有的附加列，并且不一致之处可能会在以后破坏我们的代码，尤其是如果我们要馈送我们在其上训练过X_test的sklearn模型时X_train。

而且，如果我们想在生产环境中像这样处理数据（一次只收到一个示例），pd.get_dummies则将不再使用。

随着sklearn.OneHotEncoder在另一方面，一旦我们已经创建了编码器，我们可以重复使用它每次都产生相同的输出，仅列的"red"和"green"。并且我们可以显式地控制遇到新水平时发生的情况"blue"：如果我们认为这是不可能的，则可以告诉它使用handle_unknown="error"; 引发错误。否则，我们可以告诉它继续，只需使用即可将红色和绿色列设置为0 handle_unknown="ignore"。

Answer 2

OneHotEncoder无法直接处理字符串值.如果您的名义特征是字符串,那么您需要首先将它们映射为整数.

pandas.get_dummies有点相反.默认情况下,除非指定了列,否则它仅将字符串列转换为单热表示.

Answer 3

为什么不从结果 get_dummies 中将列缓存或保存为变量 col_list 然后使用 pd.reindex 来对齐火车与测试数据集......例如：

df = pd.get_dummies(data)
col_list = df.columns.tolist()

new_df = pd.get_dummies(new_data)
new_df = new_df.reindex(columns=col_list).fillna(0.00) 

Answer 4

我真的很喜欢卡尔的回答，并给它点了票。我将稍微扩展 Carl 的例子，以便更多的人希望能够欣赏 pd.get_dummies 可以处理未知数。下面的两个示例表明 pd.get_dummies 在处理未知方面可以完成与 OHE 相同的事情。

# data is from @dzieciou's comment above
>>> data =pd.DataFrame(pd.Series(['good','bad','worst','good', 'good', 'bad']))
# new_data has two values that data does not have. 
>>> new_data= pd.DataFrame(
pd.Series(['good','bad','worst','good', 'good', 'bad','excellent', 'perfect']))

使用 pd.get_dummies

>>> df = pd.get_dummies(data)
>>> col_list = df.columns.tolist()
>>> print(df)
   0_bad  0_good  0_worst
0      0       1        0
1      1       0        0
2      0       0        1
3      0       1        0
4      0       1        0
5      1       0        0
6      0       0        0
7      0       0        0

>>> new_df = pd.get_dummies(new_data)
# handle unknow by using .reindex and .fillna()
>>> new_df = new_df.reindex(columns=col_list).fillna(0.00)
>>> print(new_df)
#    0_bad  0_good  0_worst
# 0      0       1        0
# 1      1       0        0
# 2      0       0        1
# 3      0       1        0
# 4      0       1        0
# 5      1       0        0
# 6      0       0        0
# 7      0       0        0

使用 OneHotEncoder

>>> encoder = OneHotEncoder(handle_unknown="ignore", sparse=False)
>>> encoder.fit(data)
>>> encoder.transform(new_data)
# array([[0., 1., 0.],
#        [1., 0., 0.],
#        [0., 0., 1.],
#        [0., 1., 0.],
#        [0., 1., 0.],
#        [1., 0., 0.],
#        [0., 0., 0.],
#        [0., 0., 0.]])