强化学习学习笔记-第一课 强化学习简介与马尔可夫过程

马尔可夫过程 强化学习 马尔可夫决策过程

1.马尔可夫性与马尔可夫过程

• 当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；
  $$P(S_{t+1}|S_t,S_{t-1},S_{t-2},...,S_1) = P(S_{t+1}|S_t)\tag{1}$$
• 换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程。
• 马尔可夫过程(马尔可夫链)是一个由$\langle\mathcal{S,P}\rangle$构成的元组,$\mathcal{S}$是状态集（有限）,$\mathcal{P}$是状态转移概率矩阵(从状态$s$转移到$s'$的概率)
  $$\mathcal{P}_{ss'} = \mathbb{P}[S_{t+1}=s'|S_t=s]\tag{2}$$

2.强化学习数学模型

• 马尔可夫决策过程（MDP）是一个由$\langle \mathcal{S,A,P,R,\gamma}\rangle$构成的元组 ，$\mathcal{S}$是一个有限状态集，$\mathcal{A}$是一个有限动作集，$\mathcal{P}$是状态转移概率矩阵，$\mathcal{R}$是一个回报函数
  $$P_{ss'}^a = \mathbb{P}[S_{t+1} = s'|S_t=s,A_t=a]$$
  $$R_s^a = \mathbb{E}[R_{t+1}|S_t=s,A_t=a]\tag{3}$$
  $\gamma$是折扣因子，$\gamma\in[0,1]$。
• 马尔可夫决策过程(加入了动作$a$)
  
  • $t = 0$，初始状态$s_0\sim P(s_0)$
  • AI根据状态$s_t$选择动作$a_t$
  • 环境给出回报$r_t\sim R(\centerdot|s_t,a_t)$
  • 环境给出下一时刻状态$s_{t+1}\sim P(\centerdot|s_t,a_t)$
  • AI接收$r_t$和$s_{t+1}$
• 策略$\pi$
  （1）确定性策略$\pi:S\rightarrow A$
  （2）随机策略$\pi(a|s) = P[A_t = a | S_t = s]$
• 打折的累计回报$G_t$
  $$G_t = R_{t+1} + \gamma R_{t+2} + \gamma ^2 R_{t+3} + ... = \sum _{k=0} ^{\infty}\gamma ^k R_{t+k+1}\tag{4}$$
  $$\pi ^* = \mathop{\arg\max}_\pi \ \mathbb{E\left [\sum _{t\ge0} \gamma ^t r_t |\pi\right ]}, s_0 \sim p(s_0),a_t \sim \pi(\centerdot|s_t),s_{t+1}\sim p(\centerdot|s_t,a_t) \tag{5}$$
• 状态值函数$v_\pi(s)$
  表示从状态$s$开始，执行策略$\pi$的累计回报期望值，用于评价基于策略$\pi$下状态的好坏（长期价值。）
  $$v_\pi(s) = \mathbb{E}[G_t|S_t=s]$$
  $$v_\pi(s) = \mathbb{E}[R_{t+1}+\gamma v_\pi(S_{t+1}) \ \ |S_t = s] \tag{6}$$
• 状态-动作值函数$q_\pi(s,a)$
  表示在状态$s$下先执行动作a，然后遵循策略$\pi$能得到的收获的期望值，用于评价基于策略$\pi$，在状态$s$下执行动作$a$的好坏。
  $$q_\pi (s,a) = \mathbb{E}[G_t|S_t=s,A_t=a]$$
  $$q_\pi(s,a) = \mathbb{E}[R_{t+1} + \gamma q_\pi(S_{t+1},A_{t+1}) \ | S_t=s,A_t=a)] \tag{7}$$
• 状态值函数与动作值函数端关系
  $$v_\pi(s) = \sum _{a\in \mathcal{A}} \pi(a|s)q_{\pi}(s,a)$$
  $$q_{\pi}(s,a) = R_s ^a + \gamma \sum _{s'\in \mathcal{S}} P_{ss'} ^a v_{\pi}(s')\tag{8}$$
• 将$q_{\pi}(s,a)$代入$v_{\pi}(s)$得：
  $$v_{\pi}(s) = \sum _{a\in \mathcal{A}} \pi(a|s) \left ( R_s ^a + \gamma \sum _{s' \in \mathcal{S}} P_{ss'} ^a v_{\pi}(s') \right )$$
• 令 $$P_{s,s'}^\pi = \sum _{a\in \mathcal{A}} \pi(a|s)P_{ss'}^a,R_s ^\pi = \sum _{a\in \mathcal{A}}\pi(a|s)R_s^a \tag{9}$$
• 则：
  $$v_{\pi} = R^{\pi} + \gamma P^{\pi}v_{\pi}\tag{10}$$
• 求解矩阵方程可得:
  $$v_{\pi} = (1-\gamma P^{\pi})^{-1}R^{\pi}\tag{11}$$
• 贝尔曼方程
  $$q_{\pi}(s,a) = R_s ^a + \gamma \sum _{s'\in \mathcal{S}}P_{ss'} ^a \sum _{a' \in \mathcal{A}} \pi(a'|s') q_{\pi}(s',a') \tag{12}$$