关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2026-02-04 00:00:01295人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

本届温网中国金花夺双冠,一抹亮丽中国红!

网球之家 浏览 3634 07-15

这些食物不宜食用,守护健康需谨慎

浏览 3083 07-14

“减肥神药”半年卖超166亿美元!想瘦就能用?有人用完手脚都动不了

上观新闻 浏览 503 09-11

分手20年,吴越再次迎来喜讯,她才是最后的赢家

普览 浏览 437 09-09

推广|| 双11来了!好口碑国货返场,买1送20

黎贝卡的异想世界 浏览 349 10-14

杰伦-格林:被交易很伤人 休斯敦是永远的家 离开那里很难过

直播吧 浏览 3293 07-12

2026款探岳3000万辆甄选款上市 售19.98万起

车质网 浏览 355 09-30

续面事件老板道歉 其戏称顾客为"七匹狼"的言论被扒出

扬子晚报 浏览 585 08-19

茸城她故事丨毋冬梅:以柔肩担重任,用匠心筑梦浩瀚星河

上观新闻 浏览 224 03-03

日本自民党高官窜访台湾 外交部:"媚日谋独"令人不齿

澎湃新闻 浏览 279 12-23

716分考上中专,是倒退,还是超车?

智谷趋势 浏览 3781 08-07

错过四次话语权竞争,中国用一座“有生命力”的工厂重新赢得主场

智谷趋势 浏览 471 09-02

佩通坦含泪谴责柬方:军方做好准备 当前不是谈判阶段

新京报 浏览 5888 07-25

九三阅兵当天赖清德诬蔑攻击大陆 国台办回应

环球网 浏览 454 09-05

甘肃退伍老兵,抱紧黄仁勋,狂揽上千亿

华商韬略 浏览 287 01-19

没想到,45岁隋俊波秒了25岁王影璐,她一直没火太可惜了

温柔娱公子 浏览 257 10-22

小订过万!打死不说价格的全新小鹏 P7,用颜值吊起了所有人的胃口!

极客公园 浏览 7025 08-07

金靖靠卖笑成名却被宋丹丹嫌弃?

小椰的奶奶 浏览 298 11-10

纯电续航345km 小鹏X9增程版将于四季度上市

车质网 浏览 369 10-21

合肥夜空上演“硬核”科技告白:1024架无人机点亮AI愿景

中安在线 浏览 286 11-03

全球首款搭载华为乾崑智驾的燃油车来了

网易汽车 浏览 5680 08-02
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11