关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2026-02-02 12:00:01165人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

上一页 下一页
版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

“九天”通用基础大模型3.0发布

观察者网 浏览 7231 07-29

媒体:米莱大骂副总统"叛徒" 撕碎执政联盟的最后体面

中国新闻周刊 浏览 6619 07-28

"霉霉"男友父亲透露儿子求婚细节:场面很浪漫

红星新闻 浏览 350 08-28

简直离谱!新车还没发布就被盯上了,网上已有维权帖,还要求退车

小李车评李建红 浏览 440 05-19

起底狙击宇树科技的日化公司:幕后老板已被限高,掌握专利超120项,涉多起纠纷

红星资本局 浏览 418 08-27

三胎孕妇遇熊装死保命 丈夫:不到万不得已不放弃孩子

极目新闻 浏览 395 10-01

潘宏时隔8月复出喊冤,指责虐狗说是偏见,陈乔恩评论区再次沦陷

萌神木木 浏览 2193 07-23

记者:阿布拉汗应该是河南第一签,阿奇姆彭难留

懂球帝 浏览 190 01-08

今日热点:许光汉否认和周子瑜恋情;郝熠然与诚实一口终止合作……

伊周潮流 浏览 34 04-18

美专家:美防长很少公开表达"美国无意与中国发生冲突"

环球网资讯 浏览 411 09-18

盟友遭“政治暗杀”枪手仍在逃 特朗普:美国黑暗时刻

央视新闻客户端 浏览 406 09-11

燕翔:A股上市公司ROE与相对估值分布变化

首席经济学家论坛 浏览 444 09-01

信捷电气亮相华为云城市峰会,联手打造具身智能应用新标杆

证券时报 浏览 4831 07-14

《南京照相馆》,拯救暑期档?

定焦One 浏览 9979 07-30

300万粉丝的"炒粉姐"摆摊 路人:本人比视频里好看

极目新闻 浏览 7183 07-10

聚焦进博|一个巴西律师的“新上海故事”

国际金融报 浏览 228 11-09

杨洋《凡人修仙传》开播差评一片?理由出奇一致

娱乐圈笔娱君 浏览 7178 07-29

南京爆冷无缘苏超决赛,苏州发布9个感叹号!网友:像是在放鞭炮

风过乡 浏览 305 10-19

九三阅兵训练高清图来了

央视新闻 浏览 375 08-21

破局出海难题 2025中国(合肥)跨境电商大会开幕

中安在线 浏览 4680 07-31

网友日本偶遇郑伊健夫妇,两人举动好默契

笑猫说说 浏览 387 09-07
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-11