随机过程基础

随机过程在数学、科学和工程中有着越来越广泛的应用。本书包括随机过程一些基本而又重要的内容:条件期望，Markov链，Poisson过程和Brown运动;同时也包括Ito积分和随机微分方程等应用范围越来越广的内容。

随机过程

• 第一章 预备知识
  • 1.1概率
    • 确定性现象：在一定条件下，一定会发生的现象；
    • 随机现象
      • 在个别试验其结果呈现不确定性
      • 在大量实验中其结果具有统计规律
    • 随机试验：
      • 可以在相同相同条件下重复进行
      • 每个试验结果可能不止一个，但预先知道所有的实验结果
      • 一个试验的结果事先不能确定。
    • 样本空间：随机试验的所有可能组成结果组成的集合（已知的)，记作Ω
    • 样本空间的元素，即S的每个结果，称为样本点，记作ω。
    • 样本空间Ω的子集
• 第二章 泊松过程
  • 2.1定义
    • 设{N（t），t≥0}是一个计数过程，，若满足以下条件，则称{N(t), t ≥ 0}为时齐泊松过程，称λ是poisson过程强度或速率。
      • （1）N(0) = 0;（从0开始）
      • (2)过程有平稳独立增量
      • (3) 存在 λ > 0, ∆t 趋向于 0 + 时 P(N(t + ∆t) − N(t) = 1) = λ∆t + o(∆t);
      • (4) ∆t 趋向于 0 + 时 P(N(t + ∆t) − N(t) ≥ 2) = o(∆t).
    • 定理：{N(t), t ≥ 0} 为参数为λ (λ > 0)的时齐泊松过程。则对任意的是s，t≥0
      • t时间段内事件发生n次的概率呈指数分布
    • poisson过程等价定义：计数过程{N(t), t ≥ 0}称为参数为λ（λ>0）的时齐poisson过程，如果它具备以下特点：
      • (1)N(0) = 0
      • (2)过程有独立增量
      • (3)对于任意的s,t≥0，
  • 2.2 相邻事件的时间间隔，Poisson过程与指数分布
    • Sn，n=1，2，3，···表示第n个事件发生的时刻，则S0=0，Sn=inf{t:t>Sn-1，N（t）=n}，n≥1 Xn=Sn-Sn-1,n=1,2,3···表示第n-1个与第n个事件的发生间隔。具有以下等价性
      • {N(t) ≥ n} = {Sn ≤ t}
      • {N(t) = n} = {Sn ≤ t < Sn+1} = {Sn ≤ t} − {Sn+1 ≤ t}
    • 计数过程{N(t), t ≥ 0}是Poisson过程的充分必要条件是Xn,n=1,2,,···服从参数为λ的指数分布，且互相独立。
      • 注：由于poissson过程有平稳独立增量，过程在任何时刻都“重新开始”，而这恰好是“无记忆”的体现，与指数分布的“无记忆性”是对应的。
    • 定理：Sn，n=1，2，···服从参数为n和λ的Γ分布
    • poisson过程定义三：计数过程{N(t), t ≥ 0}是参数为λ（λ>0）的时齐poisson过程，如果每次事件发生的事件间隔X1,X2,···相互独立，且服从一个参数为λ的指数分布。
      • 注：定义三提过了对poisson过程进行计算吉姆尼的方便途径，只需产生n个同指数分布的相互独立随机数，捡起作为Xi，i=1，2···，即可得到poisson过程的一条样本路径。
  • 2.3剩余寿命与年龄
    • 计数过程{N(t), t ≥ 0}，Sn表示第n次事件发生的时刻，以W(t) = SN(t)+1 − t（N(t)+1是S的脚标）表示时刻t的剩余寿命，即从时刻t开始到下次更新的剩余时间，V (t) = t − SN(t)为t时刻的年龄。
    • 定理：计数过程{N(t), t ≥ 0}是参数为λ（λ>0）的时齐poisson过程，则
      • (1)W(t)与（Xn，n≥1）同分布，即W（t）服从参数为λ的指数分布
      • （V（t）是“截尾”的指数分布，P(V (t) ≤ x)=1-exp（-λx），0≤x＜t ＝1，x≥t
  • 2.4到达时间的条件分布
    • 定理：{N(t), t ≥ 0}是参数为λ（λ>0）的时齐poisson过程，在一直[0,t]内事件A只发生一次的前提下，A发生的时刻在[0,t]上是均匀分布。即
    • 定理：在已知N(t) = n的条件下，事件发生的n个时刻，S1,S2,···，Sn的联合分布密度是：
      • 注：在已知[0,t]内发生了n此事件的前提下，各次事件发生的时刻S1，S2，···，Sn在不排序的情况下可看作相互独立的随机变量，且服从[0，t]上的均匀分布。
  • 2.7 复合泊松过程
    • 随机过程{X(t), t ≥ 0}为复合poisson过程，如果对∀t ≥ 0,X(t) 可以表示为X(t) = N(t) =Yi从1到N（t）的和。其中{N(t), t ≥ 0}是一个poisson过程，Yi，i=1，2，···是一族独立同分布的随机变量，并且与{N(t), t ≥ 0}也是独立的。
  • 2.9 更新过程
    • 定义：设{Xn, n = 1, 2, · · · }是一串独立同分布的非负随机变量，分布函数为F(x)（为了避免平凡的情况，设F（0）=P(Xn=0)≠1），记
      • 注：在更新过程中我们将事件发生一次叫做一次更新，Xn就是第n-1次和第n次更新发生的时间间隔，而N（t）就是t时刻之前发生的中的更新次数。
• 第三章 马尔科夫链
  • 3.1定义与例子
    • 随机过程{Xn, n = 0, 1, 2, · · · }称为Markov链，若它只取有限个或可列个值（若不另外说明，以非负整数集合{0, 1, 2, · · · }来表示），并且对任意n≥0，及任意状态i0, i1, · · · , in, in+1，有
      • 其中Xn=i表示过程在时刻n处于状态i，称{0，1，2，···}为该过程的状态空间，记为S。式（1）刻画了Markov性或马氏性。
      • 注：Markov性也称“无后效性”，即要确定过程将来的状态，知道它此刻的情况就足够了，不需要对以往过程的认识，这类过程称为Markov过程。当过程状态空间离散时，称为Markov链。根据时间的不同，可分为离散时间Markov链和连续时间Markov链。
      • P为一步转移概率矩阵，一般称为转移矩阵。
  • 3.2 转移概率矩阵
    • {Xn, n ≥ 0}是Markov链，转移概率矩阵P=（pi，j），则
      • 若矩阵元素满足（1）（2）两条性质，则称为随机矩阵。
  • 3.3 状态的分类
    • • 互通是一种等价关系，即满足
        • 我们把任意两个胡同状态归为一类，怎同类必互通，且一个状态不可能同时属于两个类。
        • 定义：若Markov链只存在一个类，就称它是不可约的；否则称为可约的。
    • • 注：虽然i的周期为d但并不是对于每个nd均有p大于0，比如集合为{12，15，18，···}则其最大公约数d=3，但3，6均不在该集合中，但可以证明，当n充分大时p>0。
      • 定理：若i，j同属一类，则d（i）=d（j）
• 第四章 鞅
  • 4.1 定义
    • 随机过程{Xn, n ≥ 0}，如果对∀n ≥ 0，E[|Xn|] < ∞，并且 E[Xn+1|X0, X1, · · · , Xn] = Xn a.s. 则称{Xn, n ≥ 0}是鞅。
    • 随机过程{Xn, n ≥ 0}，如果对所有n≥0，Xn是Yo,···，Yn的函数，E[|Xn|] < ∞，并且 E[Xn+1|Y0, · · · , Yn] = Xn a.s. 则称为关于{Yn，n≥0}的鞅。
      • 注：（1）E[Xn|Y0,···，Yn]=Xn a.s. (2)E[Xn+1]=E[Xn]，即，鞅的期望不随时间改变。
  • 4.2 上鞅（下鞅）及分解定理
    • 随机过程{Xn，n≥0}称为关于{Yn，n≥0}的上鞅如果对n≥0，
    • 随机过程{Xn, n ≥ 0}称为关于{Yn, n ≥ 0}的下鞅，如果对n≥0，
      • 注：鞅描述的是“公平”赌博，下鞅“有利”因为下套了，上鞅“不利”因为上当了。
• 第五章 布朗运动
  • 5.1 随机游动与布朗运动的定义
    • • （1）（2）是可以推导出（3）的
• 第六章 连续参数马尔可夫链
  • 6.1 定义及若干基本概念
    • 定义：过程{X(t), t ≥ 0}的状态空间S为离散空间，若对一切0≤t0<t1<···<tn<tn+1及ik∈S，0≤k≤n+1，若P（X(t0))=i0，