OpenCV SVM始终预测更高级别的标签

Question

我正在使用OpenCV SVM实现来二元预测图像特征的重要性.因此,我正在对正面和负面图像特征进行训练,并在{0,1}中寻找分类.

我遇到的问题是,在训练之后,SVM总是使用更高/更高的类标签来预测类.我可以更改训练数据集的标签,这个问题仍然存在.我仔细检查了生成的标签和训练cv :: Mat矩阵,但没有发现任何问题.

下面是我的SVM类和附带的SVM参数

//Populate the SVM parameters
void SVM::setSVMParams()
{
    params.svm_type = cv::SVM::C_SVC;
    params.kernel_type = cv::SVM::RBF;
    params.term_crit = cv::TermCriteria(CV_TERMCRIT_ITER, 100, 1e-6);

    params_set = true;
}

//Train the SVM with the given data
void SVM::train(cv::Mat train_data, cv::Mat labels)
{
    //Set the SVM parameters if they haven't been already
    if (!params_set)
    {
        setSVMParams();
    }

    svm.train(train_data, labels, cv::Mat(), cv::Mat(), params);
}

//Based on training, predict the class of the given data
float SVM::predict(cv::Mat sample)
{
    return svm.predict(sample, false);
}

这是负责生成训练数据和各自标签的功能

//Creates the appropriate training data and class labels for subsequent SVM training according to supplied D threshold
void Matchings::createSVMTrainingObjects(const float t_D, const float positive_label, const float negative_label, bool print_info)
{
    cv::Mat train_data_l((int)matchings_list.size(), 132, CV_32FC1);
    cv::Mat labels_l((int)matchings_list.size(), 1, CV_32FC1);

    int num_pos = 0;
    int num_neg = 0;

    for (int i = 0; i < matchings_list.size(); i++)
    {
        matching_d entry = matchings_list[i];

        //Important feature, label 1
        if (entry.D > t_D)
        {
            labels_l.at<float>(i) = positive_label;

            num_pos++;
        }
        //Unimportant feature, label -1
        else
        {
            labels_l.at<float>(i) = negative_label;

            num_neg++;
        }

        int j = 0;

        //Copy feature into current row of openCV matrix
        train_data_l.at<float>(i, j++) = entry.feature.x;
        train_data_l.at<float>(i, j++) = entry.feature.y;
        train_data_l.at<float>(i, j++) = entry.feature.scale;
        train_data_l.at<float>(i, j++) = entry.feature.angle;
        for (int k = 0; k < 128; k++)
        {
            train_data_l.at<float>(i, j + k) = entry.feature.vec[k];
        }
    }

    std::cout << "For training: #+ves=" << num_pos << ", #-ves=" << num_neg << std::endl;

    train_data = train_data_l;
    labels = labels_l;
}

最后,这里是实际调用SVM预测结果以保留重要图像特征的函数

matchingslist ASIFT::filterFeaturesWithSVM(matchingslist matchings, SVM& svm)
{
    matchingslist new_matchings;

    for (int i = 0; i < (int)matchings.size(); i++)
    {
        cv::Mat first = Utility::keypointToMat(matchings[i].first);
        cv::Mat second = Utility::keypointToMat(matchings[i].second);

        //If both features are of importance, retain them
        if (svm.predict(first) == 1.0f && svm.predict(second) == 1.0f)
        {
            new_matchings.push_back(matchings[i]);
        }
        else
        {
            std::cout << "Feature removed" << std::endl;
        }
    }

    return new_matchings;
}

Answer 1

该方法的一个主要问题是,在使用RBF时,不要设置SVM的超级参数,因此在大多数SVM实现中可能C=1和gamma=1/d(或1/mean ||x||^2)这些都是默认值.

虽然这些对于构建有效模型至关重要.特别是,如果您的C值太低(1可能取决于数据的许多特征),那么SVM构建一个简单的模型,只是总是预测其中一个类.

你应该怎么做？你应该检查两个C和的多个值gamma.这些参数的含义是什么？

• C(你的1)是错误分类的重量 - 更大的是C,SVM将更加努力地学习训练数据,可能以过度拟合为代价.
• gamma(您的默认值)是RBF内核的2倍方差的倒数.换句话说 - 伽马越大,高斯越小,因此 - 你的方法在几何意义上更"局部".再次 - 大伽玛可以帮助您最小化训练误差(偏差),但会导致更高的测试误差(方差).

正确选择方差偏差之间的权衡是机器学习技术的关键要素.在RBF SVM的情况下 - 您可以通过上述控制它.与他们一起玩,检查训练集错误和测试集错误,看看发生了什么.如果你的训练集误差很大 - 增加C和/或伽玛.一旦您的训练集错误很好,请查看测试集 - 如果它太大 - 尝试降低值等等.它通常通过一些内部交叉验证以自动方式完成,并通过网格搜索参数.

查看有关模型选择和超参数优化的材料.

此外,您可以修复迭代次数

params.term_crit = cv::TermCriteria(CV_TERMCRIT_ITER, 100, 1e-6);

而对于SVM,你永远不应该这样做.让它收敛(或者至少放一些像100,000这样的东西),在仅仅100步之后,可能就是SVM甚至没有接近收敛的情况(因此导致了琐碎的模型).