第八讲 马尔可夫决策

马尔可夫决策过程（Markov Decision Process, MDP）是序贯决策（sequential decision）的数学模型，用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报 。MDP的得名来自于俄国数学家安德雷·马尔可夫（Андрей Андреевич Марков），以纪念其为马尔可夫链所做的研究

第八讲 马尔可夫决策

• 背景
  • 在经济管理现象中存在一种“无后效性”，即“系统在每一时刻的状态仅仅取决于前一时刻的状态，而与其过去的历史无关”。这种性质称为马尔可夫性
  • 马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯的做出决策。即根据每个时刻观察到的状态，从可用的行动集合中选一个行动做出决策，系统下一步的状态是随机的，并且其状态转移概率具有马尔可夫性。决策者根据新观察到的状态，再做新的决策，依次反复地进行。
• 马尔科夫链