Machine learning 大多数机器学习技术都是从线性回归和kNN中派生出来的吗？
在阅读时，我发现了这句话： 当今使用的最流行的技术中有一大部分是 这两个简单的程序。事实上，1-最近邻是最简单的， 占据了低维问题市场的很大一部分 它引用了线性回归和k-最近邻算法。我想知道这句话有多准确。更具体地说，今天使用的哪些流行的ML方法不依赖于从这两种简单方法中得出的假设和特征？是一类重要的技术/算法，它们与最近邻分类或线性回归没有任何共同之处。也就是说，它们（在某种程度上）依赖于与kNN和线性回归所依赖的数据特征相同的假设，最显著的是，数据的特征以某种方式表示要预测的值 然而，这些技术本身完全不同，无论是在模型的构建方式还是它们的外观方面。是一类重要的技术/算法，与最近邻分类或线性回归没有任何共同之处。也就是说，它们（在某种程度上）依赖于与kNN和线性回归所依赖的数据特征相同的假设，最显著的是，数据的特征以某种方式表示要预测的值Machine learning 大多数机器学习技术都是从线性回归和kNN中派生出来的吗？,machine-learning,linear-regression,knn,Machine Learning,Linear Regression,Knn,在阅读时，我发现了这句话： 当今使用的最流行的技术中有一大部分是 这两个简单的程序。事实上，1-最近邻是最简单的， 占据了低维问题市场的很大一部分 它引用了线性回归和k-最近邻算法。我想知道这句话有多准确。更具体地说，今天使用的哪些流行的ML方法不依赖于从这两种简单方法中得出的假设和特征？是一类重要的技术/算法，它们与最近邻分类或线性回归没有任何共同之处。也就是说，它们（在某种程度上）依赖于与kNN和线性回归所依赖的数据特征相同的假设，最显著的是，数据的特征以某种方式表示要预测的值 然而，这些技
不过，技术本身完全不同，无论是在模型的构建方式还是它们的外观方面。这是一种牵强的说法。这类似于说“所有算法都依赖循环”。是的，这些是一些核心概念，但从今天的模型来看，它们的相似性太小了，以至于将现代的ML方法看作线性回归和/或knn是很幼稚的从入门课程的角度来说，这是一个很好的引语，但是如果没有这个上下文，我就错了。一切都取决于“变体”的定义，即有多少变化符合不再是“变体”的条件
我想看到一个（简短的！）答案来回答这些模型：HMM、CRF、GMM、SVM（大幅度线性分类与线性回归无关）、随机森林。。。是线性回归/knn模型。这是一种牵强的报价方式。这类似于说“所有算法都依赖循环”。是的，这些是一些核心概念，但从今天的模型来看，它们的相似性太小了，以至于将现代的ML方法看作线性回归和/或knn是很幼稚的从入门课程的角度来说，这是一个很好的引语，但是如果没有这个上下文，我就错了。一切都取决于“变体”的定义，即有多少变化符合不再是“变体”的条件
我想看到一个（简短的！）答案来回答这些模型：HMM、CRF、GMM、SVM（大幅度线性分类与线性回归无关）、随机森林。。。是线性回归/knn模型。这是你问题的补充——一些从knn和线性回归中衍生出来的方法 回归技术
- 套索、岭回归和弹性网是具有正则化惩罚的线性回归
- 局部线性回归使用局部线性模型（它是线性回归和K近邻的一种组合）构建非线性估计量
- 非线性回归技术推广到对输入不存在简单的线性依赖关系，但仍然存在参数模型的情况
- 泊松回归将线性回归推广到被估计数量为计数的情况（即，它不能为负，且始终为整数）
- 继承的线性模型，例如，其中A用于预测B，B反过来用于预测C
- 最小绝对偏差试图最小化L1范数，而不是线性回归中的L2范数
- 各种稳健回归技术试图在异常值面前提供稳健
- Logistic回归和probit回归属于广义线性模型，因此与线性回归相关
- 同样，当有两个以上的类别时，它们推广到多项式probit和多项式logit模型
- 有些神经网络可以看作是继承的多项式逻辑回归
- 在某些情况下，支持向量机可以被视为具有二元目标的最小二乘回归，在比原始数据占据的高维空间中运行
- 决策树（和随机森林，决策树的发展）
- 朴素贝叶斯（适用于概率分布）
- 马尔可夫链、隐马尔可夫模型、卡尔曼滤波和粒子滤波模型，它们对不易被最近邻或线性依赖捕获的问题施加了额外的结构
- 套索、岭回归和弹性网是具有正则化惩罚的线性回归
- 局部线性回归使用局部线性模型（它是线性回归和K近邻的一种组合）构建非线性估计量
- 非线性回归技术可以推广到不存在简单线性依赖关系的情况