
这项由南加州大学的陈炜喆、比斯特拉·迪尔基纳和加州大学欧文分校的斯文·柯尼希联合开展的研究发表于2025年1月,感兴趣的读者可以通过arXiv预印本编号2510.01459v1查询完整论文。这项研究提出了一个颇为巧妙的想法:训练大型语言模型做数学题时,不仅要看答案对错,还要关注回答的长度,从而让AI学习得更有效率。
自从ChatGPT横空出世以来,人工智能在解答数学问题上取得了令人瞩目的进展。然而,训练这些AI系统仍然面临着一个有趣的挑战:如何从海量的训练数据中挑选最有价值的样本?就像教小孩学数学一样,不是所有的练习题都同等重要,有些题目能让学生收获更多,而有些则可能效果有限。
研究团队观察到一个耐人寻味的现象:当AI回答数学问题时,回答的长度往往透露了很多信息。想象一下,当你面对一道数学题时,如果你很有把握,往往会直接给出简洁明了的答案;但如果你不太确定,就会反复思考、修正,最终给出一个冗长的解答过程。AI也有类似的表现模式。
基于这个洞察,研究团队开发了一种名为"长度感知动态采样策略"(LSPO)的新方法。这种方法就像一个智能教练,在训练过程中专门挑选那些要么答得
 
                                     
                                     
                                     
                                     
                                     
                                     
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
            