scikits 学习 SVM - 一维分离超平面

Question

如何使用 scikit svm 绘制一维数据的分离“超平面”？

我遵循二维数据指南：http://scikit-learn.org/stable/auto_examples/svm/plot_svm_margin.html，但不知道如何使其适用于一维数据

pos = np.random.randn(20, 1) + 1
neg = np.random.randn(20, 1) - 1
X = np.r_[pos, neg]
Y = [0] * 20 + [1] * 20
clf = svm.SVC(kernel='linear', C=0.05)
clf.fit(X, Y)

# how to get "hyperplane" and margins values ??

谢谢

Answer 1

二维数据的分离超平面是一条线，而对于一维数据，超平面可以归结为一个点。绘制一维数据的分离超平面的最简单方法有点麻烦：通过添加第二个特征（所有样本的值都为 0）将数据变成二维数据。通过这样做，权重向量的第二个分量为零，即w = [ w ₀ , 0] （请参阅本文末尾的附录）。由于w ₁ = 0 且w ₁是定义分隔线的斜率和 y 截距项的表达式的分母（请参阅附录），因此两个系数均为 \xe2\x88\x9e。在这种情况下，求解x的分离超平面方程很方便，结果为x = x ₀ = -b/ w ₀。余量结果为 2/ w ₀（详细信息请参阅附录）。

\n

以下脚本实现了这种方法：

\n

import numpy as np\nimport matplotlib.pyplot as plt\nfrom sklearn import svm\n\nnp.random.seed(0)\npos = np.hstack((np.random.randn(20, 1) + 1, np.zeros((20, 1))))\nneg = np.hstack((np.random.randn(20, 1) - 1, np.zeros((20, 1))))\nX = np.r_[pos, neg]\nY = [0] * 20 + [1] * 20\n\nclf = svm.SVC(kernel=\'linear\')\nclf.fit(X, Y)\nw = clf.coef_[0]\nx_0 = -clf.intercept_[0]/w[0]\nmargin = w[0]\n\nplt.figure()\nx_min, x_max = np.floor(X.min()), np.ceil(X.max())\ny_min, y_max = -3, 3\nyy = np.linspace(y_min, y_max)\nXX, YY = np.mgrid[x_min:x_max:200j, y_min:y_max:200j]\nZ = clf.predict(np.c_[XX.ravel(), np.zeros(XX.size)]).reshape(XX.shape)\nplt.pcolormesh(XX, YY, Z, cmap=plt.cm.Paired)\nplt.plot(x_0*np.ones(shape=yy.shape), yy, \'k-\')\nplt.plot(x_0*np.ones(shape=yy.shape) - margin, yy, \'k--\')\nplt.plot(x_0*np.ones(shape=yy.shape) + margin, yy, \'k--\')\nplt.scatter(pos, np.zeros(shape=pos.shape), s=80, marker=\'o\', facecolors=\'none\')\nplt.scatter(neg, np.zeros(shape=neg.shape), s=80, marker=\'^\', facecolors=\'none\')\nplt.xlim(x_min, x_max)\nplt.ylim(y_min, y_max)\nplt.show()\n

\n

尽管上面的代码是不言自明的，但这里有一些提示。X维度为 40 行 x 2 列：第一列中的值是随机数，而第二列中的所有元素均为零。在代码中，如果 . 返回的对象为，则权重向量w = [ w ₀ , 0] 和截距b分别为clf_coef_[0]和。clf.intercept_[0]clfsklearn.svm.SVC

\n

这是运行脚本时得到的图：

\n

\n

为了清楚起见，我建议通过在第二个功能中添加/减去一个小常量来调整上面的代码，例如：

\n

plt.scatter(pos, .3 + np.zeros(shape=pos.shape), ...)\nplt.scatter(neg, -.3 + np.zeros(shape=neg.shape), ...)\n

\n

通过这样做，可视化效果得到显着改善，因为不同的类别没有重叠地显示。

\n\n

附录

\n分离超平面通常表示为\n

\n

其中x是n维向量，w是权重向量，b是偏差或截距。对于n = 2，我们有w ₀ .x + w ₁ .y + b = 0。经过一些代数之后，我们得到y = -( w ₀ / w ₁ )。x + (- b / w ₁ )。从该表达式可以清楚地看出，二维特征空间中的判别超平面是一条方程y = ax + y ₀ ，其中斜率由a = - w ₀ / w ₁给出，y 截距项为y ₀ = - b / w ₁。在 SVM 中，分离超平面的边距为 2/\xe2\x80\x96 w \xe2\x80\x96，对于 2D 来说可简化为

\n

\n