关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01222人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

第十届四川省大学生机器人大赛在成都启幕

封面新闻 浏览 292 10-26

8岁男孩随家人到北海旅游时走失 找了5天还没有消息

极目新闻 浏览 479 08-22

美拉德失宠了?今年冬天最流行的3个颜色,谁穿谁好看!

LinkFashion 浏览 186 11-07

李宁步调稳健,上半年收入增至148亿元

21世纪商业评论 浏览 456 08-23

出场时间创新低,记者:马刺有意交易索汉来换更强的轮换球员

懂球帝 浏览 227 12-21

天空:阿利松因伤无缘出战切尔西,最早国际比赛日后才能复出

懂球帝 浏览 362 10-02

马克龙:首批法国士兵已抵达格陵兰岛

界面新闻 浏览 233 01-16

中候补吴胜华被查 系二十届中央第六轮巡视打下首"虎"

南方都市报 浏览 5167 07-25

别克至境首款轿车预告,再不来就被市场忘了

车动态 浏览 4970 07-14

富勒姆怒斥曼联第一球不应存在,炮轰天大误判!英超官方解释原因

罗米的曼联博客 浏览 203 02-02

"-86℃冰杯"咖啡爆火有人排队1个小时 店员戴手套取杯

红星新闻 浏览 4897 07-16

家长网上质疑儿子校服存在质量问题被拘 当地启动追责

现代快报 浏览 10174 08-14

辛巴宣布退出直播行业 此前自创品牌卫生巾检出致癌物

极目新闻 浏览 603 08-19

抗议蔓延至多地 美防长称可能向任何城市派遣军队

北青网-北京青年报 浏览 5864 06-13

87岁范曾陷"失联"风波 其作品成交金额已超过40亿元

封面新闻 浏览 617 08-18

韩国峰会临近特朗普频频放风 突然公布一涉华重磅消息

现代小青青慕慕 浏览 270 10-24

外媒:美国已输掉了对伊朗的战争 一个动作令中国获益

参考消息 浏览 203 03-17

2000万美元重注强脑科技,三七互娱落子脑机接口新纪元

钛媒体APP 浏览 302 11-01

17岁女子将19岁男友10万卖到缅甸未涉拐卖罪 律师解读

潇湘晨报 浏览 601 08-20

严牌股份:行业“内卷式”竞争加剧,行业龙头未来路在何方?

览富财经网 浏览 3596 07-24

曼联交换巴莱巴方案被拒,布莱顿只要钱!接洽唐纳鲁马遇一大障碍

罗米的曼联博客 浏览 469 08-12
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11