
这项由武汉大学人工智能学院的谢倩倩教授领导的研究团队在2025年8月发表,论文题为《From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models》,该研究首次将教育心理学中的认知诊断理论引入到金融AI评估领域。有兴趣深入了解的读者可以通过GitHub项目页面https://github.com/WHUNextGen/FinCDM访问完整研究成果。
当我们去医院体检时,医生不会只告诉你"身体状况70分"就完事,而是会详细检查你的心脏、肝脏、肺部各个器官的具体情况,告诉你哪里健康、哪里需要注意。但令人意外的是,在评估金融AI模型时,我们却一直在用那种简单粗暴的"总分"方式。
考虑这样一个场景:两个学生都考了80分,但一个是因为数学好语文差,另一个是语文好数学差。如果只看总分,我们永远不知道该给他们推荐什么样的补习班。武汉大学的研究团队发现,评估金融AI模型时也存在完全相同的问题。目前所有的评估方法都只给出一个总体得分,比如"在金融问答任务上准确率85%",但这个分数完全无法
 
                                     
                                     
                                     
                                     
                                     
                                     
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
            