热点雷达HOT RADAR

AI亲手改写Transformer架构!DeepSeek自我改造暴涨…

传统Transformer学算法有个致命盲区,测试一旦遇上训练跳过的「中间长度」,准确率就会崩盘。

2026年11月9日 星期一 580 字 · 约 1 分钟 分类 财经 61 次阅读

先看事实

在进入实验细节之前,我们先来看看这套「机制干预」到底是怎么运作的:第一步是找瓶颈,Agent实时读取每层网络的梯度信号,揪出靠调权重学不会的短板。

细节在这里

还有一点值得注意:第三步是热插拔,把胜出代码挂在初始值为0的门控后面并入网络,由后续训练自动把门控推。在12层模型nanochat的1500步训练中,Agent先后三次出手塞入Python代码。

训满1500步后,加代码层的模型相当于白赚了15%的训练进度。滤掉常规噪声后,第2层和第4层的高需求热区便清晰显现出来。

具体来看,锁定瓶颈层后,Agent写出几十个候选函数,在单批数据上实测谁最契合第2层的梯度方向。这短短20行代码之所以震撼,是因为它打破了以往「前向只能推理、反向才能改错」的定式。

原文提到,不用等反向传播,模型边往后读就能边核对前文答案,当场算出预测误差,找出64个最相似的犯错位置。既然Python代码层这么管用,那么从训练第0步就把代码层装进模型行不行呢?

几个观察

目前它主要集中在腾讯新闻的讨论里,扩散范围还有限。这类话题通常有两种走向:要么随着权威信息发布迅速降温,要么因为新的细节被翻出来再热一轮。

需要说明的是,以上内容整理自公开报道,事实以官方通报和主流媒体的后续更新为准。

本文由 热点雷达 基于多家媒体公开报道重新组织撰写,用于信息聚合与理解辅助; 涉及事实、数据均以原始报道与官方通报为准,转载请注明出处。
今日热点往期日刊全网热榜 站内搜索关于本站RSS 订阅