关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01193人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

香港首家!招银国际证券上线虚拟资产交易功能

观点机构 浏览 402 08-20

白银LOF变成了一种分级B

远川聊资管 浏览 159 02-04

工信部车展!一大波全新SUV来袭,谁能更好卖?

优视汽车 浏览 5673 06-24

“复古知识分子风”正流行,这5件单品谁穿谁时髦!

LinkFashion 浏览 180 12-23

清华大学团队NeurIPS 2025文章分析 RL 与 SFT 泛化性差异

机器之心Pro 浏览 282 10-13

全都要?罗马诺:利物浦一定会签中卫,不排除同时买格伊+莱奥尼

直播吧 浏览 468 08-12

特狮拒绝公开医疗报告并非担心隐私,若最终仍不签字冲突可能升级

直播吧 浏览 1006 08-06

今年冬天一定要拥有这4件“大衣服”,松弛又好看!

LinkFashion 浏览 204 12-05

丰田该对特朗普说谢谢

虎嗅APP 浏览 1894 07-26

河南一妇产科主任坠楼身亡 疑切除一产妇子宫后遭网暴

潇湘晨报 浏览 4017 08-06

二次元“入侵”金饰,“痛金”带火黄金“谷子”

猛犸资本局 浏览 7395 08-10

华为再诉“非洲手机之王”

观察者网 浏览 9582 08-07

第六代RAV4荣放双擎精英版上市限时焕新价15.18万元

网易汽车 浏览 121 03-02

手握2.4万枚比特币,撑起一个IPO

投中网 浏览 3833 07-31

MEBUKU IP集合快闪登陆丰盛里,跨IP联动打造沉浸体验

上观新闻 浏览 9435 07-13

多家老牌餐饮店被仿冒 官方介入后仿冒店连夜拆除招牌

红星新闻 浏览 406 09-10

在华销售遇阻,英伟达H20停产!

芯智讯 浏览 432 08-22

又帅又能打!祝雄鹿球员库兹马30岁生日快乐!

直播吧 浏览 8937 07-24

高速暴雨引发山体滑坡 封路十多个小时大货车被迫滞留

大风新闻 浏览 1947 07-23

特朗普修正行政令 美国将小额包裹关税税率降至54%

界面新闻 浏览 7027 05-14

天空:西汉姆联对图卢兹后卫查理-克雷斯维尔感兴趣

懂球帝 浏览 356 09-01
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11