PRM（Process-supervised Reward Model）是OpenAI在 Let’s Verify Step by Step 一文中，首次提出的概念。 与之相对应的是 ORM （Outcome-supervised Reward Model）。 PRM和ORM都是奖励模型，两者区别： PRM：过程奖励模型，是在生成过程中，分步骤，对每一步进行打分，是更细粒度的奖励模型。 ORM：结果奖励模型，是不管推理有多少步，对完整的生成结果进行一次打分，是一个反馈更稀疏的奖励模型。 为了更好的理解PRM，我们先了解下PRM在O1的研发 …

2025年1月26日 · 在大模型的训练中，常采用 RLHF （Reinforcement Learning from Human Feedback）即基于人类反馈的强化学习，是一种将人类反馈融入强化学习过程的技术方法，该技术的最重要的一部份就是奖励模型。 奖励模型也叫 打分模型，是一种通过量化方式对模型输出结果进行质量评估并打分，以引模型学习优化或输出给用户结果前做质量评估，判断是否需要重新给用户预测。 训练奖励模型时，先利用已有的监督微调模型进行预测得到多个结果，再让用户对 …

过程奖励模型 (PRM)：一种用于评估模型推理过程的模型，它会针对模型每一步的推理进行打分，从而判断模型推理过程是否正确。 蒙特卡洛（MC）估计：一种通过随机抽样来估计期望值的计算方法。 在本文中，MC 估计用于评估每一步推理的正确性，具体方法是从当前步骤出发，让模型完成后续推理，并通过最终答案的正确性来反推当前步骤的正确性。 LLM-as-a-judge：利用大型语言模型 (LLM) 作为评判者来评估推理步骤的正确性，本质上是利用 LLM 的推理能力，让它像 …

2024年10月24日 · 数学推理验证的两类模型为结果奖励模型（orm）和过程奖励模型（prm），prm 优于 orm，但依赖昂贵的人工标注数据集。 结果 奖励 模型 （ORM）定义：给定一个数学问题和其解决方案，ORM 会根据整个生成序列分配一个实数值来表明该解决方案是否正确。

2025年1月21日 · 在过程奖励模型 (PRM) 中，主要目的是判断解决方案的步骤是否在正确的轨道上。 因此，PRM 会输出一个 0 到 1 之间的分数，作为当前解决过程的正确性指标。 具体来说，给定一个问题 及其解决步骤序列 ，PRM 会为每一步计算出一个分数，这个分数代表了当前问题解决过程的正确性。 因此，问题被重新框定为 ，这可以视为一个二元分类任务。 PRM 通过在大模型上进行 SFT 来训练，将正确或错误的判定作为分类标签。 然后，使用 LLM 来预测每一步的下一 …

2025年2月24日 · Process Reward Model （PRM）提出了一种思路： 对过程进行拆解： 将推理过程视为若干离散的中间步骤或子结论，通过算法或标注将推理过程“分块”。 为每一步打分： 用单独的“过程奖励模型”来判断某个中间步骤是否合理、正确或具有价值，并返回奖励分数。 奖励的累积： 在强化学习优化中，将所有中间步骤的奖励累积起来，最终得到对整个推理的“过程评估”。 这样，模型不仅关注最终答案好不好，也会努力让中间步骤更符合奖励模型的标准。 PRM 的直觉 …

2025年1月18日 · OpenAI最新研究基于GPT-4微调，采用过程监督和结果监督两种监督方法，奖励每个正确推理步骤的过程奖励模型(Process Reward Model, PRM)能够解决MATH测试集代表子集中78%的问题，效果优于结果监督。这种方法可以准确指出正确的推理步骤，并且试图避免逻辑错 …

2025年1月16日 · 过程奖励模型（Process Reward Model, PRM）为解决这一问题提供了一种极有前景的新方法：PRM对推理过程中的每一步行为都进行评估及反馈，帮助模型更好学习和优化推理策略，最终提升大模型推理能力。

本文将结合源码和图示化的方式从样本格式、数据处理、模型结构、loss等几个方面梳理下PRM的训练流程。 OpenRLHF中PRM训练的入口脚本是： train_prm.py。 从提供的示例Demo可以看到，模型训练使用的数据集是 Math-Shepherd (huggingface Dataset)。 这个数据集是北大、deepseek等联合发布的 自动标注的样本集 （详见： paper）。 1. 人工标注PRM样本集 （OpenAI）： PRM800K。 上一篇文章已经介绍了OpenAI两阶段的标注方法。 详见： 姜富 …

2025年1月14日 · 过程奖励模型（Process Reward Models, PRMs）作为数学推理过程监督中的一种有前途的方法出现，旨在识别和减轻推理过程中的中间错误。 在评估方面，以往的研究主要依赖于响应级别的Best-of-N（BoN）评估，即根据PRM从N个候选答案中选择得分最高的响应。 今天，我们开源了最先进的PRMs，它优于现有的开源PRM。 我们还发布了步骤级别的评估标准 ProcessBench，用于测量模型识别数学推理中错误步骤的能力。 ProcessBench旨在衡量模型 …