2020年6月8日 · In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value.

一句话概括CQL：通过打压OOD (out of distribution)的q值的同时，去适当的鼓励已经在buffer (训练集)中的q值，从而防止q值被高估。 论文中严格证明了通过该方法，能确保学习到q值的下界值，避免了被高估。 我们从最最初的版本出发，一路到后面，确保有强化学习基础的所有人读一遍就能懂。 上图是一个更新q值的公式，包括两项。 加号右边的那一项就是我们通过MSE去更新q值，这个不需要在原代码上去做什么修改。 \beta 是 bellman算子，但是好像代码里这部分基本 …

CQL尝试通过修改值函数的back up方式，在 Q 值的基础上添加一个regularizer，得到真实动作值函数的下界估计。实验表明，CQL的表现非常好，特别是在学习复杂和多模态数据分布的时候

2024年9月24日 · Conservative Q-Learning (CQL) 是由Sergey Levine及其团队于2020年提出的一种针对离线强化学习的算法。CQL旨在解决离线强化学习中的两个主要问题：分布偏移（Distributional Shift） 和 过度乐观的值函数估计（Overestimation of Q-Values）。CQL通过对Q值的保守约束，确保学习到的 ...

2025年2月13日 · To address this issue, in this paper, we propose a task-efficient multi-task offline MARL algorithm, Skill-Discovery Conservative Q-Learning (SD-CQL). Unlike existing offline skill-discovery methods, SD-CQL discovers skills by reconstructing the next observation.

CQL希望通过学习一个保守的下界Q函数来解决分布偏移问题。 实践当中就是对deep Q-learning和actor-critic算法的Q值更新目标加入正则化。可以在修改很少的前提下用于很多算法，并且可以用于离散和连续任务。

2022年6月27日 · 我们的主要贡献是一个算法框架，我们称之为保守q学习(cql)，用于通过在训练期间对q值进行正则化来学习价值函数的保守下限估计。我们对cql的理论分析表明，只有策略下限q函数的期望值才是真正的策略值，防止了可能出现的逐点下界q函数的额外低估，这通常 ...

2023年11月28日 · Conservative Q-Learning (CQL) 是由Sergey Levine及其团队于2020年提出的一种针对离线强化学习的算法。CQL旨在解决离线强化学习中的两个主要问题：分布偏移（Distributional Shift） 和 过度乐观的值函数估计（Overestimation of Q-Values）。

在实践中，CQL使用一个简单的Q值正则化器来增强标准的Bellman误差目标，该正则化器可以在现有的深度Q学习和演员-评论家实现的基础上直接实现。 在离散和连续控制域上，我们表明CQL大大优于现有的离线RL方法，通常学习策略的最终回报率高2-5倍，尤其是在从 ...

2022年4月10日 · cql和sql有着关于表相同的抽象概念，即表由列和行构成。 CQL和SQL主要的差别在于：CQL不运行join操作或者子查询。 作为替代，Cassandra强调反范式，这些牲通过CQL的collections 和 clusterin