Python SageMaker超调的AUC客观指标

Python SageMaker超调的AUC客观指标,python,classification,amazon-sagemaker,multilabel-classification,Python,Classification,Amazon Sagemaker,Multilabel Classification,我已经使用SageMaker的AWS内置算法对二元分类模型进行了培训,并希望使用AUC和混淆矩阵对模型进行评估。然而,我看到SageMaker的培训和超调工作只接受精度指标 SageMaker中是否有方法为内置图像分类算法添加自定义度量 据我所知,AUC/Mission Matrix/Precision/Recall/F1是二进制分类器的良好指标,那么为什么AWS内置图像分类算法中缺少这些指标呢 有没有一种方法可以批量转换我的测试数据,并获得这些度量来评估模型,因为单凭准确性不利于评估 Sage

我已经使用SageMaker的AWS内置算法对二元分类模型进行了培训,并希望使用AUC和混淆矩阵对模型进行评估。然而,我看到SageMaker的培训和超调工作只接受精度指标

  • SageMaker中是否有方法为内置图像分类算法添加自定义度量
  • 据我所知,AUC/Mission Matrix/Precision/Recall/F1是二进制分类器的良好指标,那么为什么AWS内置图像分类算法中缺少这些指标呢
  • 有没有一种方法可以批量转换我的测试数据,并获得这些度量来评估模型,因为单凭准确性不利于评估
  • SageMaker内置算法无法接受自定义指标,它们仅适用于内置指标

  • 混淆矩阵不是一个度量,它是一种可视化。还要注意的是,图像分类器不是一个二值分类器,它是一个可以有大量标签的通用分类器。关于其他指标,我不能代表AWS团队发言:)

  • 是的,使用批处理转换或实时端点来创建用于自定义分析的预测是一个好主意。例如,在这篇博文中,创建了一个短暂的端点来生成内置线性分类器的预测和混淆矩阵

  • SageMaker内置算法无法接受自定义指标,它们仅适用于内置指标

  • 混淆矩阵不是一个度量,它是一种可视化。还要注意的是,图像分类器不是一个二值分类器,它是一个可以有大量标签的通用分类器。关于其他指标,我不能代表AWS团队发言:)

  • 是的,使用批处理转换或实时端点来创建用于自定义分析的预测是一个好主意。例如,在这篇博文中,创建了一个短暂的端点来生成内置线性分类器的预测和混淆矩阵