关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01294人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

邮报:曼联教练组已要求弗莱彻增强体能,为一线队首秀做准备

懂球帝 浏览 5007 08-14

港股年内车企最大IPO来了!奇瑞汽车通过上市聆讯,已连续22年汽车出口量第一

时代周报 浏览 444 09-10

鹿晗关晓彤恋爱期间毫不避讳?

娱晓晓 浏览 296 12-21

辽宁队再次弃权 参加选秀11年仅选过杜佳宝和张立文两名自家出品

直播吧 浏览 8099 07-26

聚焦进博|一个巴西律师的“新上海故事”

国际金融报 浏览 298 11-09

赢下温网冠军对决!万卓索娃2-1莱巴金娜,2年后再进美网八强

全景体育V 浏览 502 09-01

普京提议重启俄乌直接谈判后 特朗普表态

环球网资讯 浏览 4864 05-12

轮到以色列被打了 以最大城市被炸数百万人逃入避难所

起喜电影 浏览 558 09-16

梓渝劈腿曝光?本人发声道歉承认不成熟

萌神木木 浏览 9532 07-24

记者:加拉塔萨雷500万欧年薪报价京多安,达成协议后曼城将放行

直播吧 浏览 434 09-02

英国以“最高优先级”正式调查社交平台X

新华社 浏览 272 01-13

17岁男生提供电话卡给网诈团伙被判8个月 称获利997元

红星新闻 浏览 309 11-04

春天衣服不用准备太多!这几大单品提前备好,百搭实用又不过时

静儿时尚达人 浏览 144 04-20

鲁媒谈准入:新赛季会带给更多球队机遇,想获红利需守住阵地

懂球帝 浏览 277 12-11

“双贴息”政策如何办理?官方指引来了!

21金融圈 浏览 3032 08-14

开拓者队记点评杨瀚森:20岁就会指挥交通了 非常好的信号!

直播吧 浏览 3357 07-12

普京:俄中关系对维护世界稳定具有战略意义

环球网资讯 浏览 4486 05-06

理想汽车1月交付27668辆 巩固高端增程基本盘

网易汽车 浏览 271 02-02

“Go Global”战略里程碑进展!远大医药钇[90Y]欧洲新增适应症获批

环球网资讯 浏览 456 09-09

深圳"卷尺哥"找茬1000次被市长点名 拒绝去杭州当网红

新京报 浏览 97 06-02

江西市值一哥更换董秘,去年人均薪酬25万元

华美财经 浏览 10526 07-13
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11