首先要了解马尔可夫链的概念，首先为了避免矩阵密集化，这里讨论稀疏矩阵所对应的离散马尔可夫链:一个可数的离散状态集合S对任意i0,i1....in∈S若其在n+1时刻的状态和之前状态的关系满足P(Xn+1＝in+1|X0＝i0,X1＝i1,...Xn＝in)＝P(Xn+1＝in+1|Xn＝in)那么状态之间的转移关系随机过程X是离散马尔科夫链。也就是下一状态的概率由且只由当前状态决定，与之前的状态无关。状态之间的转移概率可以由图来形象的表示(马尔科夫链):其有三个状态{1，2，3}对应的概率转移矩阵P为:
奥利奥baby
