RL-赵-(七)-不基于模型-TD03：Sarsa--＞Expected Sarsa--＞n-step Sarsa
一、Sarsa变形01：Expected Sarsa
{
q
t
+
1
(
s
t
,
a
t
)
=
q
t
(
s
t
,
a
t
)
−
α
t
(
s
t
,
a
t
)
[
q
t
(
s
t
,
a
t
)
−
(
r
t
+
1
+
γ
E
[
q
t
(
s
t
+
1
,
A
)
]
)
]
,
q
t
+
1
(
s
,
a
)
=
q
t
(
s
,
a
)
,
∀
(
s
,
a
)
≠
(
s
t
,
a
t
)
,
\begin{cases} q_{t+1}(s_t,a_t)=q_t(s_t,a_t)-\alpha_t(s_t,a_t)\Big[q_t(s_t,a_t)-(r_{t+1}+\gamma\mathbb{E}[q_t(s_{t+1},A)])\Big],\\[3ex] q_{t+1}(s,a)=q_t(s,a),\quad\forall(s,a)\neq(s_t,a_t), \end{cases}
⎩
⎨
⎧qt+1(st,at)=qt(st,at)−αt(st,at)[qt(st,at)−(rt+1+γE[qt(st+1,A)])],qt+1(s,a)=qt(s,a),∀(s,a)=(st,at),
二、Sarsa变形02：n-step Sarsa
Sarsa只需要一步的数据，就更新，所以说是实时的；
MC需要等到一个episode的数据搜集结束再更新，所以也是offline的；
n-step Sarsa折中，需要n步的数据；
由于n步Sarsa包含Sarsa和MC学习作为两种极端情况，其性能是Sarsa和MC学习的混合：
如果n很大，其性能接近MC学习，因此具有较大的方差但较小的偏差。
如果n很小，其性能接近Sarsa，因此由于初始猜测而具有相对较大的偏差和相对较低的方差。
最后，n步Sarsa也用于策略评估。它可以与策略改进步骤结合，以搜索最优策略。
参考资料：
【强化学习】强化学习数学基础：时序差分方法
更多推荐
8
0- 0
已为社区贡献37条内容
所有评论(0)