小编knt*_*tgu的帖子

我正在尝试通过大量数据训练我的二元分类器。之前我可以通过sklearn的fit方法来完成训练。但现在，我有更多的数据，我无法应付它们。我正在尝试部分安装它们，但无法消除错误。如何增量训练我的海量数据？通过应用我之前的方法，我收到有关管道对象的错误。我已经浏览了增量学习中的示例，但仍然运行这些代码示例会出现错误。我将不胜感激任何帮助。

X,y = transform_to_dataset(training_data)

clf = Pipeline([
    ('vectorizer', DictVectorizer()),
    ('classifier', LogisticRegression())])

length=len(X)/2

clf.partial_fit(X[:length],y[:length],classes=np.array([0,1]))

clf.partial_fit(X[length:],y[length:],classes=np.array([0,1]))

错误

AttributeError: 'Pipeline' object has no attribute 'partial_fit'

尝试给定的代码示例：

clf=SGDClassifier(alpha=.0001, loss='log', penalty='l2', n_jobs=-1,
                      #shuffle=True, n_iter=10, 
                      verbose=1)
length=len(X)/2

clf.partial_fit(X[:length],y[:length],classes=np.array([0,1]))

clf.partial_fit(X[length:],y[length:],classes=np.array([0,1]))

错误

File "/home/kntgu/anaconda2/lib/python2.7/site-packages/sklearn/utils/validation.py", line 573, in check_X_y
ensure_min_features, warn_on_dtype, estimator)
File "/home/kntgu/anaconda2/lib/python2.7/site-packages/sklearn/utils/validation.py", line 433, in check_array
array = np.array(array, dtype=dtype, order=order, copy=copy)
TypeError: float() argument must be a string or a number

我的数据集由一些句子及其词性标签和依赖关系组成。

Thanks  NN  0   root
to  IN  3   case
all DT  1   nmod …