关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01220人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

不造车,京东谋何局?

盖世汽车 浏览 289 10-28

浙媒:体育局负责人介绍,浙江FC改名一事并未提上日程

懂球帝 浏览 225 01-21

清华大学团队NeurIPS 2025文章分析 RL 与 SFT 泛化性差异

机器之心Pro 浏览 302 10-13

美海军罕见宣布:解除一弹道导弹核潜艇指挥官职务

环球时报国际 浏览 291 10-13

乒超常规赛厦门站赛程出炉,樊振东继续出战,约战王楚钦林诗栋

乒谈 浏览 3663 07-16

杜兰特与前队友布鲁斯-布朗互喷,后者赛后:杜兰特越界了

懂球帝 浏览 204 12-21

悬空三年终落定!华泰人寿为何选了精算师出任总经理?

独角金融 浏览 3256 07-17

172个观众,首日票房仅7365元,2025年11月最惨新片诞生了

靠谱电影君 浏览 265 11-17

天溯计量夫妻控股近九成,税补占比高,逾期应收数千万元

权衡财经 浏览 6009 07-29

西班牙足协主席:我们会充分照顾球员利益,俱乐部可以放心

懂球帝 浏览 230 11-10

王楚钦退赛:突然背部不适 一度不太能动得了

北京日报 浏览 128 12-15

水晶专场|| 我最近超爱戴这条!被大家追着问的链接终于来了~

黎贝卡的异想世界 浏览 10593 07-22

上海女子崩溃了:男邻居楼道内一丝不挂 还猛砸自家门

看看新闻Knews 浏览 464 09-09

特朗普:美俄会谈富有成效 取得重大进展

新京报 浏览 3251 08-08

法国议员提案:禁止法国职业足球俱乐部多重所有权

懂球帝 浏览 319 09-26

昔日龙头“欠薪跑路”,百亿旅拍市场凉了?

电商在线 浏览 9153 07-24

赵贤祐:磨合时间虽短但打出了不错比赛 只能将这份遗憾铭记在心

直播吧 浏览 4757 07-16

许荔莎许凯恋爱时间线曝光 信息量超大

扒虾侃娱 浏览 461 08-23

透视四川政府工作报告:向“第四极”加速奔跑

尺度商业 浏览 200 02-04

普京:与特朗普相见恨晚 乌克兰的安全必须得到保障

上观新闻 浏览 496 08-17

独一无二,世界巨星蒂尔达·斯文顿卓越之作!

幕味儿 浏览 268 10-26
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11