Q 学习和 SARSA 的区别是什么？

是的，这是唯一的区别。在策略 SARSA 学习相对于它所遵循的策略的行为值，而非策略 Q 学习学习相对于贪婪策略的行为值。在一些常见的条件下，它们都收敛到实值函数，但收敛速度不同。Q-Learning 趋向于收敛慢一点，但是有能力在改变策略的同时继续学习。此外，Q 学习并不能保证在与线性近似结合时收敛。

实际上，在 ε- 贪婪策略下，Q-Learning 计算 Q (s，a)和最大动作值之间的差值，而 SARSA 计算 Q (s，a)和平均动作值与最大动作值的加权和之间的差值:

学习: Q (s_{T + 1}，a_{T + 1}) = max_一Q (s_{T + 1}，a)

SARSA: Q (s_{T + 1}，a_{T + 1}) = ε · mean _一Q (s_{T + 1}，a) + (1-ε) · max_一Q (s_{T + 1}，a)

你的 Q 学习公式中有一个索引错误。 Sutton 和 Barto 的第148页。

Q (st，at) < —— Q (st，at) + alpha * [ r (t + 1) + γ * max Q (st + 1，a)- Q (st，at)]

这个打印错误出现在 max 的参数中:

索引是 st + 1和 a, 而在你的问题中，它们是 st + 1和 at + 1(这对 SARSA 来说是正确的)。

希望这个能帮到你。

在 Q-Learning

这是你的: 学习: Q (St，At) = Q (St，At) + a [ R (t + 1) + 折扣 * max Q (St + 1，在)-Q (St，At)]

应改为 学习: Q (St，At) = Q (St，At) + a [ R (t + 1) + 折扣 * max Q (St + 1，一)-Q (St，At)]

正如您所说，您必须找到更新等式的最大 Q 值。通过改变 一，然后你将有一个新的 Q (St，At)。小心，给你最大 Q 值的 一不是下一个动作。在这个阶段，您只知道下一个状态(St + 1) ，在进入下一轮之前，您希望通过 St + 1更新 St (St < —— St + 1)。

对于每个循环;

• 使用 Q 值从 St 中选择 At

• 服用 At 并观察 Rt + 1和 St + 1

• 使用 eq 更新 Q 值。

• St < —— St + 1

直到圣达到终点

当我学习这一部分的时候，我发现它也非常令人困惑，所以我把 R.Sutton 和 A.G.Barto 的两个伪代码放在一起，希望能够使区别更加清楚。

蓝框突出显示了这两种算法实际上存在差异的部分。数字突出了稍后将解释的更为详细的差异。

NR :

|             | SARSA | Q-learning |
|:-----------:|:-----:|:----------:|
| Choosing A' |   π   |      π     |
| Updating Q  |   π   |      μ     |

其中 π 是 ε- 贪婪策略(例如 ε > 0，探索) ，μ 是贪婪策略(例如 ε = = 0，NO 探索)。

1. 考虑到 Q 学习使用不同的策略来选择下一个动作 A’和更新 Q。换句话说，它试图在遵循另一个策略 μ 的同时计算 π，所以它是一个非策略算法。

2. 相比之下，SARSA 始终使用 π，因此它是一种在策略上的算法。

更详细的解释 :

1. 两者之间最重要的区别在于每次操作之后 Q 是如何更新的。SARSA 使用 Q’跟随 ε- 贪婪策略，因为 A’是从中提取的。相比之下，Q 学习在下一步的所有可能行动中使用最大 Q’。这使得它看起来像是遵循 ε = 0的贪婪策略，也就是说，在这一部分没有探索。

2. 然而，当实际采取行动时，Q 学习仍然使用 ε- 贪婪策略的行动。这就是为什么“选择 A...”在重复循环中。

3. 遵循 Q 学习中的循环逻辑，A’仍然来自 ε- 贪婪策略。

在数学上有什么区别？

正如大多数其他答案中已经描述的那样，这两种更新在数学上的区别实际上是，当更新状态操作对 (S < sub > t ，A < sub > t )的 问:值时:

• Sarsa 使用行为策略(意思是，代理用来在环境中生成体验的策略，通常是 Epsilon-贪婪的)来选择一个额外的操作 A < sub > t + 1 ，然后使用 Q (S < sub > t + 1 ，A < sub > t + 1 (由 Γ贴现)作为更新目标计算中预期的未来返回值。
• Q -学习不使用行为策略来选择额外的操作 A < sub > t + 1 。相反，它在更新规则中将预期的未来收益估计为 Max < sub > A Q (S < sub > t + 1 ，A)。这里使用的 Max操作符可以被视为“遵循”完全贪婪的策略。它只说，在更新规则中，“假设我从现在开始遵循贪婪策略，那么我期望的未来收益是什么?”.

直觉上这意味着什么？

正如在其他答案中提到的，上面描述的差异意味着，使用术语集，Sarsa 是一种 政策上的学习算法，而 Q 学习是一种 不符合规定学习算法。

在极限(给予无限的时间来产生经验和学习) ，并在一些额外的假设下，这意味着 Sarsa 和 Q 学习收敛到不同的解决方案/“最优”策略:

• Sarsa 将会收敛到 一个最优的解决方案，假设我们一直遵循用于产生经验的相同政策。这通常是一个带有某种随机性(相当“愚蠢”)的策略，比如 Epsilon贪婪，因为否则我们根本无法保证我们会收敛到任何东西。
• Q-Learning 将会收敛到 一个最优的解决方案，假设在产生经验和训练之后，我们转向贪婪策略。