Machine learning 决策树熵计算目标

我找到了两种类型的几个例子

单一特征 给定一个只有两个项的数据类。只适用于蓝色和黄色的球。也就是说，在这种情况下，我们只有一个特征是颜色。这是一个清晰的例子，表明“分而治之”规则适用于熵。但这对于任何预测或分类问题来说都是毫无意义的，因为如果我们有一个只有一个特征的对象，并且该值是已知的，那么我们不需要一棵树来决定“这个球是黄色的”

多功能 给定一个具有多个特征的数据和一个要预测的特征（已知为训练数据）。我们可以根据每个特征的最小平均熵计算谓词。更接近生活，不是吗？直到我没有尝试实现算法，我才明白这一点

---

现在我的脑海里有了一个碰撞

如果我们计算相对于已知特征的熵（每个节点一个），那么只有当未知特征严格依赖于每个已知特征时，我们才会在使用树进行分类时得到有意义的结果。否则，单个未绑定的已知特征可能会破坏所有预测，以错误的方式驱动决策。但是，如果我们计算熵相对于我们想要在分类时预测的特征值，我们将返回到第一个毫无意义的例子。通过这种方式，节点使用哪种已知特征没有区别

还有一个关于建树过程的问题

我是否应该只计算已知特征的熵，而相信所有已知特征都与未知特征有关？或者也许我也应该计算未知特征的熵（已知的训练数据），以确定哪个特征对结果的影响更大？

几年前，我遇到了同样的问题（可能是在一个类似的编程任务中）：我是否根据全套特征计算熵，分支机构的相关功能或级别的相关功能

结果是这样的：在决策树中，它归结为比较不同分支之间的熵来确定最佳分支。比较需要相等的基集，即无论何时要比较两个熵值，它们必须基于相同的特征集

对于您的问题，您可以使用与要比较的分支集相关的功能，只要您知道使用此解决方案无法比较不同分支集之间的熵。 否则，请使用整个功能集

（免责声明：上述解决方案是一个思维协议，来自几年前一个导致思考一个小时的问题。希望我一切正常。）

PS：小心汽车数据集！；）

几年前，我遇到了同样的问题（可能是在一个类似的编程任务中）：我是根据完整的特征集、分支的相关特征还是级别的相关特征来计算熵

结果是这样的：在决策树中，它归结为比较不同分支之间的熵来确定最佳分支。比较需要相等的基集，即无论何时要比较两个熵值，它们必须基于相同的特征集

对于您的问题，您可以使用与要比较的分支集相关的功能，只要您知道使用此解决方案无法比较不同分支集之间的熵。 否则，请使用整个功能集

（免责声明：上述解决方案是一个思维协议，来自几年前一个导致思考一个小时的问题。希望我一切正常。）

PS：小心汽车数据集！；）