henry 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI好不容易发了篇新论文,还是给GPT-5挽尊?
最近,《语言模型为何会产生幻觉?》这篇论文火了。
它提出模型有幻觉是因为:标准的训练和评估流程,更倾向于奖励“猜对”,而非承认不确定
正因如此,模型在面对不确定的问题时,往往会选择冒险猜测以获得更高评分。

所以,为了让模型“老实说不”,就应该重新设计评估指标,从而鼓励模型承认自己不会,惩罚随意猜测
而好巧不巧的是,OpenAI自家的GPT-5就最不爱猜测
    
henry 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI好不容易发了篇新论文,还是给GPT-5挽尊?
最近,《语言模型为何会产生幻觉?》这篇论文火了。
它提出模型有幻觉是因为:标准的训练和评估流程,更倾向于奖励“猜对”,而非承认不确定
正因如此,模型在面对不确定的问题时,往往会选择冒险猜测以获得更高评分。

所以,为了让模型“老实说不”,就应该重新设计评估指标,从而鼓励模型承认自己不会,惩罚随意猜测
而好巧不巧的是,OpenAI自家的GPT-5就最不爱猜测
    
 
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
            