Matrix 关于为场景构造转移矩阵的问题

在学习过程中，我在构建转移概率矩阵时遇到了一些问题，以下是问题的场景：

**假设一部手机有i个故障（对于i=0,1,2,3），则发生另一个故障的概率为p，与前一天的所有故障无关，并且新故障将在同一天内以概率q^i+1修复

如果一部电话没有修理，它将被替换

如果手机出现第n个故障，则会立即更换。（n=3）

更换的手机最初没有任何故障

在一天内发生多个故障的概率足够小，可以忽略。**

---

如何为马尔可夫链构造一个转移矩阵，该马尔可夫链的当前状态表示到目前为止手机经历（并已修复）的故障数。

您可以从一个更简单的情况开始：假设手机只能在第二天修复。让我们定义所有可能的状态：

• 0f正常-零故障，手机正常
• 1f B-一个故障导致手机损坏
• 1f正常-一个故障，手机正常
• 2f B-两个故障导致手机损坏
• 2f正常-两个故障，手机正常
• 3f B-三个故障导致手机损坏

现在，您可以为这种情况绘制图表：

现在我们知道，手机实际上必须在同一天进行维修。在这种情况下，我们只有3种状态，并且在每种状态下，手机都正常（维修或更换）：

• 0f-零故障
• 1f-一个故障
• 2f-两个故障

从第一张图中，您可以看到从一个OK状态到另一个OK状态的所有路径。您需要做的就是遵循这些路径并收集概率：

过渡矩阵如下所示：

您可以看到，每个原始值加起来等于1（有两种不同的约定。第二种约定表示列应加起来等于1）。在第一种约定中，计算下一个状态向量，如

X=A*X

，在第二种约定中，如

X=X*A