Machine learning 如何评估和分析机器学习算法的性能？

对不起，如果我的问题听起来太天真。。。我对机器学习和回归非常陌生 我最近以硕士生的身份加入了一个机器学习实验室。我的教授想让我在实验室即将提交的一篇关于他们开发的回归算法的论文中写下“实验与分析”部分。 问题是我不知道我要做什么，他说算法是稳定和完整的，他们已经写了论文的第一部分，我需要写评估部分。 我真的不知道该怎么办。我参与了算法的编码，我非常了解它，但我不知道为了评估和分析它的性能，我必须完成哪些任务。 -我从哪里获得数据？ -测试过程是什么？ -要做什么样的分析？ 我对研究和论文写作还不熟悉，真的不知道该怎么办。 我最近读了很多文章，但我没有分析ML算法的经验。 请你指导我并解释一下（新手级别）流程好吗。 感谢您提供详细答案
谢谢

• 您需要一个测试数据集来评估性能。如果你 如果没有，请分割您的训练数据集（您当前正在使用的数据集） 在上运行此算法）到训练集和交叉验证集 （不重叠）
  通过从中剥离预测（y值）来创建测试集 交叉验证集
  使用训练数据集运行算法以训练模型
  一旦您的模型经过培训，请使用测试工具测试其性能 关闭“测试集”
  为了评估性能，可以使用RMSE（均方根 误差）度量。您将需要使用您的 测试集中每个样本的算法及其应用 相应的实际预测（您在之前剥离到 输入测试集）。你可以找到更多的信息

机器学习模型评估 看一看。它是为没有计算机科学背景的人编写的，所以应该很容易理解。它包括：

• 模型评估工作流
• 坚持验证
• 交叉验证
  • k-折叠交叉验证
  • 分层k-折叠交叉验证
  • 在交叉验证中去掉一个
  • 遗漏交叉验证
  • 将一组排除在交叉验证之外
• 嵌套交叉验证

---

如果您将问题分为几点，将会更好、更具可读性。谢谢您的回答。但你的意思是我只需要生成一个绘图（RMSE）绘图作为分析吗？RMSE只是众多绘图中的一个。有准确度，精密度，ROC和更多。本文可能是了解这些指标的良好起点。