我的问题是关于在强化学习中使用 SARSA 算法来解决一个未折现的、持续的（非情节）问题（它可以用于这样的问题吗？）
我一直在研究 Sutton 和 Barto 的教科书，他们展示了如何修改 Q-learning 算法，以便它可以用于解决未打折扣的问题。他们在第 6.7 章中将新算法（用于未折现的问题）称为 R-learning。基本上，在 R-learning 中，每次迭代 Q(s,a) 的更新规则是：
Q(s,a) = Q(s,a) + alpha * [r - rho + max_a{Q(s',a)} - Q(s,a)]
在这里，只有在状态 s 选择贪婪动作时，才会在每次迭代中更新 rho。rho 的更新规则是：
rho = rho + beta * [r - rho + max_a{Q(s',a)} - max_a{Q(s,a)}]
（这里，alpha 和 beta 是学习参数。）现在，我的问题是关于 SARSA，而不是 Q-learning。我想修改 SARSA 算法，使其适用于平均奖励（未折扣）问题，就像修改 Q-learning 以用于平均奖励问题一样（我不知道这是否可能？） . 然而，在文献中我找不到关于如何针对平均奖励问题修改 SARSA 的确切解释。
以下是我对 SARSA 应如何用于未贴现问题的猜测。我猜更新规则应该是：
Q(s,a) = Q(s,a) + alpha * [r - rho + Q(s',a') - Q(s,a)], …