
这项由香港大学、加州大学伯克利分校以及谷歌DeepMind等顶尖机构联合进行的研究发表于2025年第42届国际机器学习大会(ICML),研究团队由朱天哲、翟越翔等多位学者共同完成。有兴趣深入了解的读者可以通过项目主页https://tianzhechu.com/SFTvsRL获取完整论文信息。
想象你面前有两个孩子在学数学,一个死记硬背乘法表,考试时只要题目稍有变化就抓瞎;另一个真正理解了乘法原理,遇到新题型也能触类旁通。这就是当前AI训练中的一个根本性问题——我们的AI到底是在"死记硬背"还是在"真正学习"?
长期以来,训练AI就像教育孩子一样,主要有两种方法:一种叫做监督微调(SFT),就像传统的填鸭式教育,给AI看大量标准答案,让它模仿;另一种叫做强化学习(RL),更像启发式教育,让AI在尝试中学习,做对了给奖励,做错了给惩罚。但是这两种方法哪种更能让AI真正"开窍",一直是个未解之谜。
研究团队就像教育专家一样,设计了精巧的实验来探究这个问题。他们创建了一个类似"算24点"的数学游戏,给AI四张卡片,让它用加减乘除算出24这个数字。更巧妙的是,他们还设计了不同
 
                                     
                                     
                                     
                                     
                                     
                                     
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
            