Machine learning 使用Vowpal Wabbit时计算AUC

在Vowpal Wabbit中是否有计算AUC的方法

我使用Vowpal Wabbit的原因之一是数据文件太大。

---

我可以使用Vowpal Wabbit的输出计算Vowpal Wabbit环境之外的AUC，但如果数据文件很大，这可能会有问题。

目前，VW无法报告。更糟糕的是，它不能直接针对AUC进行优化。针对AUC的优化与在线学习不兼容，但也存在一些问题

关于您的问题，您不需要将带有原始预测的中间文件存储在磁盘上。您可以将其直接导入外部评估工具（在本例中）：

编辑： John Langford认为，AUC通常可以通过改变假阳性和假阴性损失的比率来优化。在大众汽车中，这意味着为正面和负面的例子设定不同的标准。您需要使用保持集（或交叉验证，或单程学习的渐进验证损失）调整最佳权重

vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin