bre*_*ter 6 machine-learning vowpalwabbit
有没有办法使用Vowpal Wabbit对回归使用渐变增强？我使用Vowpal Wabbit附带的各种技巧很有帮助.我想尝试渐变增强,但我找不到在大众实现渐变增强的方法.
Mar*_*pel 10
梯度增强的想法是从黑盒弱模型构建集合模型.你肯定可以使用大众作为黑匣子,但请注意大众不提供决策树,这是黑盒弱势模型中最受欢迎的选择.提升通常会降低偏差(并增加方差),因此您应确保VW模型的方差较小(无过度拟合).见偏差 - 方差权衡.
大众汽车的增压和装袋有一些减少:
--autolink N 添加多项式N的链接函数,这可以被认为是一种简单的增强方式.--log_multi K是一种用于K级分类的在线提升算法.见论文.您甚至可以将它用于二进制分类(K = 2),但不能用于回归.--bootstrap M通过在线重要性重新采样的M-way引导程序.使用--bs_type=vote分类和--bs_type=mean回归.请注意,这是装袋,而不是提升.--boosting N(在2015-06-17添加)与N弱学习者在线提升,参见理论论文