10.马尔可夫链

概率统计与随机过程，马尔可夫链:^t后的X(t+^t)状态只与X(t)有关，与之前的状态无关(任意时刻t)，将知识点进行了归纳和整理，帮助学习者理解和记忆。直击重点，可以作为学习笔记和复习资料，帮助大家系统地回顾和巩固所学知识，知识点系统且全面，希望对大家有所帮助

马尔可夫链

• 马尔可夫链的基本概念
  • 概念
    • 马尔可夫链：△t后的X(t+△t)状态只与X(t)有关，与之前的状态无关（任意时刻t）
    • △t步转移概率：P{X(t+△t)=aj|X(t)=ai}=pij(△t)
      • 由于i，j的不同，可以写作矩阵
    • 齐次马氏链：P{X(t+△t)|X(t)}=P{X(△t)|X(0)}（也就是转移概率只与时间间隔有关）
  • 多步转移概率的确定：卷积喽
  • 马氏链的有限维分布
    • 初始概率
    • 决对概率：可由初始概率乘转移概率求得
    • 可写作向量P(n)={p1(n),p2(n).......pj(n)......}
• 马氏链的遍历性与极限分布
  • 遍历性：首先满足齐次性，在时间间隔n下，n趋向于无穷，pij(n)=πj(常数)（与j有关）（与i无关）
  • 遍历性的充分条件
    • 存在m，使m步转移概率矩阵里面的数都大于0
    • 极限的概率向量π=P(n)[n趋向于无穷]={π1，π2......πj......} π=πP
  • 平稳分布：存在状态j,使pj(m)不变，m>n