Machine learning Vowpal Wabbit上的梯度增强

Machine learning Vowpal Wabbit上的梯度增强,machine-learning,vowpalwabbit,Machine Learning,Vowpalwabbit,有没有一种方法可以在使用Vowpal Wabbit的回归中使用梯度增强?我使用了Vowpal Wabbit附带的各种有用的技术。我想尝试一下梯度增强,但我找不到一种方法来实现大众的梯度增强 的思想是,集合模型是由黑盒弱模型构建的。您当然可以将大众汽车用作黑匣子,但请注意,大众汽车不提供决策树,这是boosting中黑匣子较弱的车型最常用的选择。一般来说,增压会减少偏差(并增加方差),因此您应该确保大众车型具有低方差(无过度拟合)。看 大众汽车在增压和装袋方面有一些降低: --autolink

有没有一种方法可以在使用Vowpal Wabbit的回归中使用梯度增强?我使用了Vowpal Wabbit附带的各种有用的技术。我想尝试一下梯度增强,但我找不到一种方法来实现大众的梯度增强

的思想是,集合模型是由黑盒弱模型构建的。您当然可以将大众汽车用作黑匣子,但请注意,大众汽车不提供决策树,这是boosting中黑匣子较弱的车型最常用的选择。一般来说,增压会减少偏差(并增加方差),因此您应该确保大众车型具有低方差(无过度拟合)。看

大众汽车在增压和装袋方面有一些降低:

  • --autolink N
    添加了一个带有多项式N的链接函数,这可以被认为是一种简单的增强方法
  • --log\u multi K
    是一种用于K类分类的在线boosting算法。看见您甚至可以将其用于二进制分类(K=2),但不能用于回归
  • --引导M
    通过在线重要性重采样实现M路引导。使用
    --bs_type=vote
    进行分类,使用
    --bs_type=mean
    进行回归。请注意,这是,而不是增压
  • ——增强N
    (于2015年6月17日添加)针对N名弱学习者的在线增强,请参见

感谢您的帮助,非常感谢!昨天发表了一篇关于“在线梯度提升”的非常相关的论文。这里提到了大众。