RL微调，关键在前10%奖励！基于评分准则，Scale AI等提出新方法

大模型强化学习总是「用力过猛」？Scale AI联合UCLA、芝加哥大学的研究团队提出了一种基于评分准则（rubric）的奖励建模新方法，从理论和实验两个维度证明：要想让大模型对齐效果好，关键在于准确区分「优秀」和「卓越」的回答。这项研究不仅揭示了奖励过度优化的根源，还提供了实用的解决方案。

让大模型按照人类意图行事，一直是AI领域的核心挑战。目前主流的强化学习微调（RFT）方法虽然有效，但存在一个致命弱点：奖励过度优化（reward over-optimization）。

奖励过度优化是大模型对齐的「阿喀琉斯之踵」。

简单来说，就是模型学会了「钻空子」——它们不是真正变得更好，而是学会了如何在奖励模型上刷高分，实际输出质量反而下降。这就像考试时学生死记硬背标准答案来应付老师，而不是真正理解知识。

Scale AI的最新研究直击这一痛点，从理论层面揭示了问题的根源，并提出了创新的解决方案。