Tree ID3上的最佳分割

我正在尝试使用决策树和更精确的ID3算法实现一个分类器。我的训练数据包含属性age，它是一个连续值。我正在尝试实现BestSplit方法，其中我需要将数据拆分为k个分区，其中k=每个功能的可能值的数量！我被卡住了，因为我知道考虑到不同年龄段的所有这些可能性，不可能分割数据。这就是为什么我需要创建组年龄！我如何知道如何从所有这些分组集合的可能性中做出决定？

解决方案是找到这些分组的最大收益，然后选择得分最高的一个。要做到这一点，你还需要计算熵。下面的答案完美地解释了它的工作原理。

---

基于的ID3算法，是许多学科的重要理论。熵和信息增益是选择分割数据集的最佳特征的典型方法。您可以在本博客中看到一个示例和一些分析：