处理标签编码的未知值

Question

如何在sk-learn中处理标签编码的未知值？只有在检测到新标签时,标签编码器才会爆炸.

我想要的是通过one-hot -encoder 对分类变量进行编码.但是,sk-learn不支持字符串.所以我在每列上都使用了标签编码器.

我的问题是,在我的交叉验证步骤中,管道中出现了未知标签.基本的单热编码器可以选择忽略这种情况.apriori pandas.getDummies /cat.codes是不够的,因为管道应该使用可能包含未知标签的真实,新鲜的传入数据.

是否有可能CountVectorizer为此目的使用？

Answer 1

有几个答案sklearn.preprocessing.OneHotEncoder作为一种方法提到,但我觉得这种pandas.get_dummies方法对于实现模型更为清晰.其他类似的答案提到使用labelEncoder此,但再次将整个转换DictVectorizer为dict可能不是一个好主意.

让我们假设以下有问题的列:

from sklearn.preprocessing import OneHotEncoder

enc = OneHotEncoder(handle_unknown='ignore')
enc.fit(train)

enc.transform(train).toarray()

Utila是一个罕见的城市,它不存在于训练数据中,但在测试集中,我们可以在推理时考虑新数据.

诀窍是将此值转换为"other"并将其包含在labelEncoder对象中.然后我们可以在生产中重复使用它.

from sklearn import preprocessing
import numpy as np
import pandas as pd

train = {'city': ['Buenos Aires', 'New York', 'Istambul', 'Buenos Aires', 'Paris', 'Paris'],
        'letters': ['a', 'b', 'c', 'd', 'a', 'b']}
train = pd.DataFrame(train)

test = {'city': ['Buenos Aires', 'New York', 'Istambul', 'Buenos Aires', 'Paris', 'Utila'],
        'letters': ['a', 'b', 'c', 'a', 'b', 'b']}
test = pd.DataFrame(test)

要将它应用于新数据,我们需要的是DataFrame为每个列保存一个可以使用Pickle轻松完成的对象.

这个答案是基于这个问题,我觉得这个问题对我来说并不完全清楚,因此添加了这个例子.