新万博体育

　　猫眼电影记者 罗宾-莱特 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：明升体育m88

??11月02日,一证通查范围扩增至25款互联网APP,

　　“什么是消防安全”也许有的人会问。消防安全是一个人在世上生存的底线，我们仅有保证了在使用各个家电，各个与火有关的东西时的安全，才能向着更高的人生梦想冲刺，因为使用这些东西是不可避免的。

,欧亿注册网址。

??11月02日,重庆南川：彩林绘就绚丽画卷 引游客打卡,　　顶端新闻记者了解到，9958儿童紧急救助项目成立于2012年，隶属于中华少年儿童慈善救助基金会自主品牌项目，9958服务于0-18岁的困境儿童群体，整合“资讯信息服务、筹资渠道服务、救助执行服务”三大功能。以“9958 儿童公益平台”为核心发起的运营模式，设立有儿童“医疗救助、关爱工程、融合教育和保护联盟”四大项目板块，致力于儿童“生存权、保护权、发展权和参与权”的提升和完善。,麻将推二八杠怎么玩,世界杯竞猜在哪投注,乐虎国际官网客户端。

??时事2：澳门永利最新备用网址

??11月02日,广西唯一回族乡桂林草坪乡成立40年 家门口吃上“旅游饭”,

　　“会有惊喜的，不会弱于那些大族中的天才，真要与他们对上的话，即便你年幼，我想也会有不凡表现。”老族长认真地说道。

,赢钱的小游戏,斗牛什么情况可以抢庄,免费pg电子游戏在线玩。

??11月02日,美军：已击落射向在红海执行任务的美军舰的导弹,

　　“柳神……你好了？”有族老颤声道。

,线上现金网址是多少,免费送彩金大全,5139澳门威斯尼斯登录。

??时事3：澳门老虎机奖金

??11月02日,中国成品油价2024年首次下调,

　　“大壮哥，山林太危险了，我们年龄还小，不能再前进了。”一个孩子颤声道。

,乐鱼体育网页版链接,国际象棋真人游戏,万博首页。

??11月02日,北上广深二手房成交回暖，迟到的“小阳春”缓慢冒头,

　　1.全体教师要勤学习、勤思考、勤工作，爱岗敬业，勇挑重担，敢于负责，勇于争先，围绕教育教学质量，服从大局讲团结，忠诚事业讲奉献，立足本职比贡献。通过师德师风建设为重点的教师队伍建设，扎实落实培养和学习制度，形成肯吃苦、爱学生、爱学校的教师队伍。要发挥课堂教学主渠道作用，以大面积提高学生成绩为突破口，全力实施高效课堂，牢固树立质量意识，力促学校教学质量的全面提高。

,多宝app官方,澳门正规电子游戏网站,lehu66乐虎国际。

??时事4：掌上游戏

??11月02日,商界人士：欧盟应与中国开展合作而非设置贸易壁垒,

　　3、不准校内骑车，同时告诫家长也要注意，不要骑车进校接送孩子，要在校门外丁字路口以外停车。

,亚美体育2021娱乐平台,世界杯买球哪里买的到,jbo竞博官网登录。

??11月02日,又现“春节价”，洗剪吹为啥越来越贵？,

　　场中只剩下了石渊一人，其他人全都踉跄倒退，根本就没有办法站立，不然必然要被那种气息压到肉身碎裂。

,365bet买球,云顶集团官方网站,云顶娱乐官网登陆页面。