v1.875.1533.884172 PC版
v4.416.5727.927862 PC版
v8.607.9894.839599 IOS版
v4.158.9661 IOS版
v9.806 安卓漢化版
v4.978.4375.812701 最新版
v6.714.8225.342346 安卓免費版
v9.562.7399.968318 安卓免費版
v6.988.3867.498947 安卓版
v3.105 安卓漢化版
v3.602.7746.938295 安卓漢化版
v6.221 PC版
v3.444 安卓版
v2.573.7553 PC版
v5.303 最新版
v4.421.532.913098 安卓版
v9.388.9630.48677 PC版
v1.81.4265.574573 安卓漢化版
v8.353.5646 PC版
v5.361.3242 最新版
v2.793.923.687424 安卓漢化版
v3.28.6876.679365 PC版
v3.911.6515.485875 IOS版
v1.55.986.112176 PC版
v5.644.8400.176576 IOS版
v7.235 安卓版
v5.176.4739.368726 IOS版
v9.681.917 最新版
v6.321 PC版
v4.12.2712.197078 PC版
v8.218 最新版
v2.505.3190.513871 IOS版
v7.887.9839.415184 安卓漢化版
v2.920.2345 最新版
v6.485.8566.541529 IOS版
v3.818 PC版
v6.510.9069.656003 安卓版
v9.333.1753.627664 IOS版
v4.787 IOS版
v8.985.1397 IOS版
v8.659 安卓免費版
v8.150.1912 安卓漢化版
v9.406.6225 PC版
v1.590.6256 PC版
v4.305.6112.507757 最新版
v8.961 安卓最新版
v3.713 最新版
v9.684 PC版
v8.664.616 安卓版
v6.540 IOS版
v1.445.5480.260842 安卓最新版
v1.332.3238.699396 IOS版
v7.271 IOS版
v9.787.6684 安卓版
v2.584.5358.167461 安卓漢化版
v5.388.6323 最新版
v4.893 IOS版
v8.215.9940.30195 安卓最新版
v8.957 安卓免費版
v3.556 IOS版
v1.955.9941 安卓版
v9.782.6947.527010 PC版
v8.508.8603.113484 安卓版
v7.974.7131.767800 IOS版
v1.683.680.359608 PC版
v2.161.869.627029 安卓免費版
v2.81.6593.768562 IOS版
v9.294.6717.762174 安卓版
v7.63.440.501370 安卓最新版
v8.939.2162.449070 安卓免費版
v3.870.9540 安卓最新版
v3.414.620 安卓最新版
v7.230 PC版
v5.825.2648.909271 IOS版
v8.630.2062.828635 安卓漢化版
v2.94 安卓最新版
v4.403 PC版
v4.595.1405.934265 安卓免費版
v6.553.8176.303248 安卓免費版
v2.36.4320.344362 IOS版
yabo足球
该项目由北京大学彭一杰教授课题组完成,第一作者为任韬,其他作者包括江金阳、杨晖等。
研究背景与挑战:大模型后训练陷入「均值陷阱」,推理能力难破界
当强化学习(RL)成为大模型后训练的核心工具,「带可验证奖励的强化学习(RLVR)」凭借客观的二元反馈(如解题对错),迅速成为提升推理能力的主流范式。从数学解题到代码生成,RLVR 本应推动模型突破「已知答案采样」的局限,真正掌握深度推理逻辑 —— 但现实是,以 GRPO 为代表的主流方法正陷入「均值优化陷阱」。
这些基于均值的优化策略,过度聚焦高概率输出序列,却忽略了「低概率但高信息密度」的推理路径:模型训练早期就会出现熵坍缩,过早丧失探索能力;面对全错的难题时,优势函数直接归零,模型在薄弱环节完全无法学习。最终结果是,大模型看似在 Pass@1 等短视指标上有提升,实则推理边界从未拓宽,更无法应对 AIME 竞赛题、复杂代码生成这类高难度任务。如何让模型主动「啃硬骨头」,成为大模型后训练的关键瓶颈。
AIME2024 上的学习表现
技术方案概述:用「风险度量」破局,MVaR + 捆绑策略双管齐下
为解决传统均值优化的缺陷,北大团队提出 RiskPO,核心突破在于将风险规避(risk-averse)理念融入优化目标,用「关注奖励分布左尾(难任务)」替代「追求整体均值」,从根本上引导模型突破推理短板。
论文链接:https://arxiv.org/abs/2510.00911v1代码链接:https://github.com/RTkenny/RiskPO
为配合 MVaR 目标,团队提出「多问题捆绑」策略,将多个问题打包成 bundle 计算奖励,把稀疏的二进制反馈转化为更丰富的分布信号,彻底解决「难题零梯度」问题—— 比如将 5 个数学题打包后,模型能从整体得分中捕捉到「部分正确」的学习信号,而非单个题目非对即错的极端反馈。
算法架构图
实验:三大任务全面碾压,难问题上优势更显著
好的技术方案,终要靠硬指标说话。北大团队在数学推理、代码生成、多模态推理三大领域的 10 余个数据集上,用数据证明了 RiskPO 的突破性 —— 尤其在最能体现推理能力的「硬任务」上,优势远超 GRPO 及其变体。
在数学推理领域,RiskPO 在 AIME24(美国数学邀请赛)任务上表现惊艳:Pass@32 得分比 GRPO 高出近 7 个百分点,比最强基线 DAPO 提升 6.7 个百分点;即便是相对简单的 MATH500 数据集,其 Pass@1 也达到 81.8%,超出 GRPO 2.6 个百分点。
更关键的是,随着评估指标从 Pass@1 转向 Pass@8、Pass@16,RiskPO 的优势持续扩大 ——这意味着模型不仅能给出更优的单条答案,还能探索新万博体育:有效推理路径,真正突破了「采样效率优化」的局限。
数学推理任务
Pass@k 学习曲线
在跨领域任务中,RiskPO 同样稳定领先:代码生成任务 LiveCodeBench 上,Pass@1 比 GRPO 提升 1 个百分点;多模态几何推理任务 Geo3K 上,准确率达到 54.5%,优于 DAPO 的 54.3%。这种「全场景增益」,证明了风险度量优化的泛化能力。
其他任务
理论 + 消融:熵坍缩缓解有依据,参数设计有章法
RiskPO 的性能突破,并非依赖工程调参,而是有扎实的理论支撑和严谨的消融实验验证。
高熵更新定理
从理论层面,团队证明了「风险规避更新」能有效缓解熵坍缩:通过分析策略熵的变化机制,发现 RiskPO 的 MVaR 目标函数能降低「优势 - 对数概率」的相关性 —— 相比 GRPO,模型不会过度强化已掌握的易任务,从而保持更高的熵值和探索能力。
实验中也能清晰看到:训练 500 步后,GRPO 的熵值已趋近于 0,而 RiskPO 仍能维持 0.2 以上的熵水平,确保对难任务的持续探索。
训练集 DAPOMATH-17k 上的各项指标
值得注意的是,在训练过程中,若仅观察以均值为核心的指标曲线(如平均奖励),GRPO 与 RiskPO 的表现几乎难分伯仲,甚至 RiskPO 因更高的探索性还伴随轻微波动;但切换到风险敏感指标(如下尾 RVaR、MVaR 奖励)时,两者差距立刻凸显 ——RiskPO 的曲线始终保持显著领先,且随训练推进持续攀升。
这种「均值相近、风险指标悬殊」的现象,再结合最终测试集上 RiskPO 在 Pass@k(尤其是高 k 值)、难任务(如 AIME 竞赛题)上的优势,进一步印证了:均值目标只能让模型在「已知能力范围内优化采样效率」,而风险度量目标才是推动模型突破推理边界、真正提升核心能力的理想方向。
不同风险偏好对比实验
结果显示,风险寻求模型的熵值在训练早期就剧烈坍缩—— 训练 150 步后熵值已降至 0.1 以下,远低于 RiskPO 的 0.2;性能上,风险寻求模型在训练 50 步后便进入平台期,MATH 数据集 Pass@1 仅从 52% 提升至 54%,而 RiskPO 则持续优化至 56%,实现 1.5 倍的提升幅度。
这一对比清晰证明,聚焦易任务的风险寻求策略会加速模型「固步自封」,只有风险规避才能驱动模型突破推理边界
相关版本
多平台下载
查看所有0条评论>网友评论