Artificial intelligence 如何将UNO建模为POMDP

我试图将UNO纸牌游戏建模为部分可观测马尔可夫决策过程（POMDP）。我做了一些研究，得出的结论是，状态将取决于牌的数量，动作将是要么玩，要么从看不见的牌堆中挑选牌。我在制定状态转换和观察模型方面面临困难。我认为，观察模型将取决于过去的行为和观察（历史），但为此，我需要放松马尔可夫假设。我想知道放松马尔可夫假设是否是更好的选择？另外，我应该如何准确地建立状态和观察模型。提前感谢。

我认为在POMDP中，状态仍然应该是“完全真理”（所有牌的位置），而转换只是游戏规则（包括其他玩家的策略？！）。观察结果当然不应该依赖于任何历史，而应该只依赖于状态，否则你就违反了马尔可夫假设。POMDP的要点是，代理可以通过分析历史来获得有关当前状态的信息。不过，我不确定这是否适用于UNO，或者如何适用于UNO。如果您知道已经玩过哪些牌及其顺序，您仍然可以使用历史记录获取信息吗？可能不会。不确定，但如果把游戏当作POMDP，即使你使用一个为POMDP设计的解决方案，也没什么意义。

如果我在UNO中考虑子游戏，会怎么样呢？我意识到整个UNO游戏有一个巨大的状态空间，POMDP无法解决这个问题。因此，到目前为止，我只考虑了16张牌[蓝色和红色：0，1，2，3，4，跳过，DRAP 2，DRAP4]。因此，总共将有16个状态，17个动作（16个动作用于玩特定的+1个动作用于从抽牌堆中拾取牌），转换将是状态x动作x下一个状态（16*17*16=4352）。我面临的问题是观察模型。目前，我认为观察应该是一个特工在采取行动后手中有多少张牌。