Machine learning 为什么我们使用相关系数进行特征选择？

我正在学习功能选择。 我发现并看到许多内核检查相关系数矩阵。 在上面的链接中，他们介绍了三种特征选择方法，首先是滤波方法，包括相关系数和卡方检验

为什么我们可以使用相关系数进行特征选择

我认为它只能表示两个变量之间的线性关系，不能表示两个或多个变量组合的效果或非线性关系

所以我想知道相关系数是否适合特征选择。

---

为什么以及如何将其用于特征选择？

你完全正确-相关性是一种幼稚、近乎原始的特征选择方法。因此，它有时会起作用，因为数据有时确实遵循线性组合冗余，并且在许多更复杂的任务中会严重失败。这里没有黄金答案。基于相关性的特征选择类似于分类的逻辑回归-最容易尝试，但不应期望解决任何问题。

你完全正确-相关性是一种幼稚、近乎原始的特征选择方法。因此，它有时会起作用，因为数据有时确实遵循线性组合冗余，并且在许多更复杂的任务中会严重失败。这里没有黄金答案。基于相关性的特征选择类似于分类的逻辑回归-最容易尝试，但不应期望解决任何问题。

谢谢！我还有两个问题。1.为什么很多人检查相关系数矩阵？用于检查变量的冗余？2.那么您能推荐一种更有效或更常用的特征选择方法吗。是的，高度相关性应该意味着冗余变量。另一方面，缺乏相关性并不意味着什么。2.特征选择在其核心是一个困难的问题，因为您需要离散决策，这会妨碍适当的优化。注意，如果你这样做是为了更好的分类，请不要这样做。仅当特征收集成本较高时（例如在医疗诊断中），才应应用特征选择。典型的非线性特征选择机制包括可以分配特征重要性的训练模型，如随机林，然后删除最不重要的。@lejlot如果你这样做是为了更好地分类，请不要详细说明你所说的注释是什么意思？应用特征选择通过删除冗余特征或较差的预测值来改进模型是否无效？我评论的下一句话是对我的意思的解释-这不是特征选择的目的。如果模型很弱，它可以帮助提高性能，但不要使用弱模型和基于启发式的特征选择-最好是寻找更强的模型，除非由于数据限制，无法训练这样的模型，并且对于特定问题有足够的专家知识，可以通过启发式测试来解决它！我还有两个问题。1.为什么很多人检查相关系数矩阵？用于检查变量的冗余？2.那么您能推荐一种更有效或更常用的特征选择方法吗。是的，高度相关性应该意味着冗余变量。另一方面，缺乏相关性并不意味着什么。2.特征选择在其核心是一个困难的问题，因为您需要离散决策，这会妨碍适当的优化。注意，如果你这样做是为了更好的分类，请不要这样做。仅当特征收集成本较高时（例如在医疗诊断中），才应应用特征选择。典型的非线性特征选择机制包括可以分配特征重要性的训练模型，如随机林，然后删除最不重要的。@lejlot如果你这样做是为了更好地分类，请不要详细说明你所说的注释是什么意思？应用特征选择通过删除冗余特征或较差的预测值来改进模型是否无效？我评论的下一句话是对我的意思的解释-这不是特征选择的目的。如果模型很弱，它有助于提高性能，但与其使用弱模型和基于启发式的特征选择，不如寻找更强的模型，除非由于数据限制，无法训练这样的模型，并且对于特定问题有足够的专家知识，可以通过启发式解决