Artificial intelligence 信息增益与熵

我最近读到了关于信息增益和熵的文章。我想我对主要思想有一个相当不错的理解，但我很好奇如何处理以下情况：

---

如果我们有一袋7枚硬币，其中1枚比其他硬币重，1枚比其他硬币轻，并且我们知道较重的硬币+较轻的硬币与2枚普通硬币相同，那么随机挑选两枚硬币并相互称重会带来什么信息增益

我们的目标是识别这两个奇怪的硬币。我已经思考了一段时间这个问题，但无法在决策树中正确地构建它，或者以其他任何方式构建它。有什么帮助吗

编辑：我理解熵公式和信息增益公式。我不明白的是如何用决策树的形式来描述这个问题

编辑2：以下是我目前的情况：

假设我们选择了两个硬币，它们的重量都一样，我们可以假设我们选择H+L的新机会是1/5*1/4=1/20，这很简单

假设我们选两枚硬币，左边重一些。有三种不同的情况会发生这种情况：

HM：这让我们有1/2的机会选择H，1/4的机会选择L:1/8 HL:1/2机会选择高位，1/1机会选择低位：1/1 ML:1/2机会选择低位，1/4机会选择高位：1/8

然而，我们选择HM的几率是1/7*5/6，即5/42
我们选择HL的几率为1/7*1/6，即1/42
我们选择ML的几率是1/7*5/6，也就是5/42

如果我们用这些概率加权总体概率，我们得到：

（1/8）*（5/42）+（1/1）*（1/42）+（1/8）*（5/42）=3/56

选项B也是如此

选项A=3/56
选项B=3/56
选项C=1/20

但是，选项C的权重应该更重，因为有5/7*4/6的机会选择两种介质。所以我假设从这里我权衡这些可能性

我很确定我在路上的某个地方搞砸了，但我认为我走的是正确的道路

编辑3：更多内容

假设比例是不平衡的，那么概率是（10/11）只有一个硬币是H或L，以及（1/11）两个硬币都是H/L

因此我们可以得出结论：
（10/11）*（1/2*1/5）和
（1/11）*（1/2）

---

编辑4：继续说，总共增加了4/42。

您可以根据信息获取考虑构建决策树，但这不是您发布的问题，这只是计算一次“信息提取移动”的信息获取（可能是预期的信息获取；-）——随机挑选两枚硬币，并相互称重。要构建决策树，您需要知道从初始状态（大概一般规则是：您可以选择两组N个硬币，N<4，并相互权衡——这是唯一一种移动，参数大于N），每个硬币的预期信息增益，这将为您提供决策树的第一个分支（具有最高预期信息增益的移动）；然后对移动的每个可能结果执行相同的过程，依此类推

那么，您是否需要帮助来计算N的三个允许值中的每一个的预期信息增益（仅当N==1时），或者您可以自己尝试这样做？如果第三种可能性得到了实现，那么这将使你从练习中获得最大的学习量——这毕竟是家庭作业的关键目的。所以，你为什么不尝试，编辑你的答案，向你展示你是如何进行的，你得到了什么，我们很乐意确认你做得对，或者尝试帮助纠正你的程序可能暴露出的任何误解

编辑：尝试给出一些提示，而不是将即食溶液放在盘子上；-）。称这些硬币为H（重的），L（轻的）和M（中等的——其中的五个）。当你随机挑选2枚硬币时，你可以得到（包括顺序在内的

7*6==42）HL、LH（各一枚）、HM、MH、LM、ML（各5枚）、MM（
5*4==20
cases）——2加20加20等于42，请检查。在加权中，你会得到3种可能的结果，称它们为A（左重），B（右重），C（等重）。HL、HM和ML，11例为A；LH、MH和LM，11例为B型；嗯，20个案例是C。所以A和B实际上是不可区分的（哪一个是左的，哪一个是右的，基本上是任意的！），所以我们有22个案例的权重不同，20个是相等的——这是一个很好的迹象，给出每个结果的案例数量非常接近

因此，考虑每个实验结果有多少个（等概率的）先验存在，多少个后验。你的任务是选择H和L。如果你在实验前随机做，你会有什么机会？随机选取H的比例为1/7；考虑到L的选择成功率为1/6，总的来说是1/42
实验结束后，你怎么样？如果是C，你可以排除这两个硬币，剩下的是一个神秘的H，一个神秘的L，还有三个毫秒——所以如果你随机选择，你会有五分之一的人选择H，如果成功的四分之一选择L，总的来说是二十分之一——你成功的几率会增加一倍多。对于A（和相当于B）的情况来说，看“下一步是什么”更为棘手，因为它们是多个的，如上面所列（不太明显，不是等概率的…），但显然你不会为H（和viceversa）选择已知的较轻的硬币，如果你为H（或L）选择5个未升级的硬币中的一个只有一枚经过称重的硬币是另一个角色的候选者（分别为L或H）。为简单起见，忽略“非等概率”问题（这确实有点棘手）你能计算出你的猜测概率（随机选择与实验结果不一致）是多少吗…？
这是其中的一部分