Matrix 关于为场景构造转移矩阵的问题

Matrix 关于为场景构造转移矩阵的问题,matrix,markov-chains,markov,stochastic,Matrix,Markov Chains,Markov,Stochastic,在学习过程中,我在构建转移概率矩阵时遇到了一些问题,以下是问题的场景: **假设一部手机有i个故障(对于i=0,1,2,3),则发生另一个故障的概率为p,与前一天的所有故障无关,并且新故障将在同一天内以概率q^i+1修复 如果一部电话没有修理,它将被替换 如果手机出现第n个故障,则会立即更换。(n=3) 更换的手机最初没有任何故障 在一天内发生多个故障的概率足够小,可以忽略。** 如何为马尔可夫链构造一个转移矩阵,该马尔可夫链的当前状态表示到目前为止手机经历(并已修复)的故障数。您可以从一个更简

在学习过程中,我在构建转移概率矩阵时遇到了一些问题,以下是问题的场景:

**假设一部手机有i个故障(对于i=0,1,2,3),则发生另一个故障的概率为p,与前一天的所有故障无关,并且新故障将在同一天内以概率q^i+1修复

如果一部电话没有修理,它将被替换

如果手机出现第n个故障,则会立即更换。(n=3)

更换的手机最初没有任何故障

在一天内发生多个故障的概率足够小,可以忽略。**


如何为马尔可夫链构造一个转移矩阵,该马尔可夫链的当前状态表示到目前为止手机经历(并已修复)的故障数。

您可以从一个更简单的情况开始:假设手机只能在第二天修复。让我们定义所有可能的状态:

  • 0f正常-零故障,手机正常
  • 1f B-一个故障导致手机损坏
  • 1f正常-一个故障,手机正常
  • 2f B-两个故障导致手机损坏
  • 2f正常-两个故障,手机正常
  • 3f B-三个故障导致手机损坏
现在,您可以为这种情况绘制图表:

现在我们知道,手机实际上必须在同一天进行维修。在这种情况下,我们只有3种状态,并且在每种状态下,手机都正常(维修或更换):

  • 0f-零故障
  • 1f-一个故障
  • 2f-两个故障
从第一张图中,您可以看到从一个OK状态到另一个OK状态的所有路径。您需要做的就是遵循这些路径并收集概率:

过渡矩阵如下所示:

您可以看到,每个原始值加起来等于1(有两种不同的约定。第二种约定表示列应加起来等于1)。在第一种约定中,计算下一个状态向量,如
X=A*X
,在第二种约定中,如
X=X*A