Machine learning 假设空间何时包含目标概念

Machine learning 假设空间何时包含目标概念,machine-learning,concept,induction,Machine Learning,Concept,Induction,写下来是什么意思- 假设空间包含目标概念? 如果可能的话,举个例子。TLDR:这意味着你可以零错误地学习 下面是一个例子,它的意思是:假设一个概念:f(a,b,c,d)=a&b&(!c |!d)(输入在布尔域中) 此概念存在于通常由数据表示的ML任务中,因此将为您提供一个数据集: a | b | c | d = f --+---+---+---+--- T T T T = F T T T F = T T T F T = T ... etc ... 你

写下来是什么意思- 假设空间包含目标概念?
如果可能的话,举个例子。

TLDR:这意味着你可以零错误地学习


下面是一个例子,它的意思是:假设一个概念:
f(a,b,c,d)=a&b&(!c |!d)
(输入在布尔域中)

此概念存在于通常由数据表示的ML任务中,因此将为您提供一个数据集:

a | b | c | d = f
--+---+---+---+---
T   T   T   T = F
T   T   T   F = T
T   T   F   T = T
   ... etc ...
你的假设空间是。在这种情况下,您的假设空间包含目标概念,您可以这样做(例如,有更多的可能性):

可以证明,任何二进制公式(概念)都可以作为 决策树。因此,一般的二元公式是决策树的子集。这意味着,当你知道这个概念是一个二元公式(你甚至可能不知道)时,你将能够用一个零错误的决策树(给出足够的例子)来学习它

另一方面,如果您想通过 ,您不能这样做,因为二进制公式不是单调连词的子集

(所谓子集,我指的是可能的概念。从子集关系中,可以说明在假设空间中包含目标概念。)

单调连词是一组连词,其中的变量不求反。当任何一个连词为真时,输出也为真。是不能使用否定的一个子集

有些概念可以通过montone连接词学习,但不能通过它学习一般的二进制公式概念。这意味着,您将无法零错误学习,一般的二进制公式不是单调连词的子集。


这是普林斯顿大学关于ML基础知识的一个很好的PDF:

我想说的不是“零误差”,而是“贝叶斯误差”或“可能的最小误差”,因为有时目标概念本质上是不确定的(因此贝叶斯风险不是零)。ML讲座中的概念是一种终端技术,适用于单一输入不能有不同输出的情况。唯一输入组合可以在概念中,也可以不在概念中。这是一套干净利落的餐具。这就是为什么我写了零错误。