状态价值函数的动作 a 不确定，所以贝尔曼方程是到下一层；
动作价值函数的当前动作已确定，所以是到第二层。
v 中没有 q， q 中没有 v，意味着能够组成方程组求解了
最优价值函数：寻找一个最优策略使得
个体获得的奖励价值比其他策略高
每个状态 s 时，只选具有最高动作价值的动作 a
动态规划
预测问题（策略评估）：已知 ①②③④⑥⑦ 求解 ⑤
即求解给定策略的状态价值函数
基本公式
迭代策略评估，利用基本公式
不断迭代，直到变化在要求范围内

策略提升：已知 ①②③④⑥⑦ 求解更好的 ④⑤
即寻找更好的策略及状态价值函数
All of them update estimates of the values of states based on estimates of the values of successor states. That is, they update estimates on the basis of other estimates. We call this general idea bootstrapping
