关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2026-02-02 12:00:01197人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

时髦又清凉5组造型,夏天通勤穿刚好

Yuki女人故事 浏览 4395 06-14

2025世界机器人大会开幕:群智涌现加速集群落地,十大趋势定调产业方向

澎湃新闻 浏览 6218 08-09

汪小菲带娃正脸首次曝光,S妈深夜破防,晓梅回击

一娱三分地 浏览 2286 07-18

焦虑的马斯克:解读特斯拉涨价背后的三重困境

车云网 浏览 8664 07-03

汤臣倍健2025年上半年营收35.32亿元,第二季度利润同比增速回正

红星资本局 浏览 8139 08-09

天翎科旗舰飞行器L600真机下线,累计获得近千架意向订单|最前线

36氪 浏览 274 11-06

杜兰特与球迷合影&依旧气质独特 后面疑似乌度卡

直播吧 浏览 438 08-19

韩国最高法院认定三星掌门人无罪

新京报 浏览 3193 07-17

AI快速生成抗体设计图,大卫·贝克最新研究或改变传染病应对模式

DeepTech深科技 浏览 247 11-09

Momenta“最强大脑”上车 别克至境L7再“亮剑”

网易汽车 浏览 452 08-21

DeepSeek删豆包冲上热搜,大模型世子之争演都不演了

量子位 浏览 439 08-22

影后秦海璐,与二婚丈夫生下一子,如今过的怎样

小小李娱 浏览 261 11-05

章泽天最新创业,轰动全网!评论区疯狂点名刘强东

财通社 浏览 180 01-13

巴萨1月或提前买断拉什福德,希望曼联降价!拉爵欲卖2人赚7400万

罗米的曼联博客 浏览 340 09-21

果然!圆脸女生都太“假”了!

Yuki女人故事 浏览 355 08-28

中小银行再降息!存款“搬家”涌入股市?

国际金融报 浏览 445 08-22

北约或取消峰会 避免与特朗普冲突出现"戏剧性场面"

环球网资讯 浏览 68 04-29

以为按时还款,结果多花1万块?

简七理财 浏览 5930 07-26

年龄差19岁,这对姐弟恋又给内娱上了一课!

伊周潮流 浏览 208 12-13

倪萍太敢说!直怼金鸡奖潜规则

孙镴北漂拍客 浏览 389 09-02

鲁政委:区域性要素市场化配置综合改革试点举措梳理

首席经济学家论坛 浏览 351 09-21
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11