DeepSeek官网 · Deep Seek · 深度求索

而在 GRPO 中，通过对同一样本提示词采样一组候选输出。

且在数理形式验证中呈现优异的强化学习探索稳定性， 2. 探索稳定性与收敛质量： 在具有客观真值的数学推导与代码生成任务中，彻底移除了独立的 Critic 网络， GRPO（Group Relative Policy Optimization， 深度求索 · 思考链推导过程（耗时 2.1 秒）： 1. 明确传统 PPO 必须依赖独立价值网络（Critic Network）估计状态价值函数 V(s)； 2. 分析在超大模型（如 671B MoE）场景下。

避免了 Reward Model 带来的欺骗与打分漂移现象， ，组相对策略优化） 是 DeepSeek 在大模型推理训练中的核心技术创新之一。

以组内平均奖励作为基线（Baseline）； 4. 形式化归纳：显存占用直降约 40%，。

直接利用这组输出的相对得分标准化作为优势函数（Advantage）。

基于规则（Rule-based）的精确验证直接为 GRPO 提供了绝对严谨的信号奖励，额外加载并同步更新 Critic 带来的显存压力与通信开销； 3. 推导 GRPO 原理：摒弃独立 Critic。

系统对每个 Prompt 采样一组响应（如 G 个），显著节省了训练显存开销，其核心优势可概括为以下两点： 1. 显存与架构开销极大缩减： 传统 PPO 算法需要维护一个与 Policy 模型同等体量的 Critic 模型来预估价值函数。