新万博体育

　　猫眼电影记者 赵永明 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：久久黄色精品亚洲

??10月27日,【两会30秒】黄强：四川把人工智能作为全省1号创新工程,

　　“发生了什么，蛟叔！”骑坐在凶蛟身上的蛟鹏大叫，他心中惶恐。

,亚洲色图一。

??10月27日,护航世界互联网大会 840名“小梧桐”浙江乌镇再出发,

　　很荣幸参加这期村干部培训班，我叫吴小勇，1965年3月生，白族，初中文化，现任彝族乡**村党总支书记，村委会主任。

,狂野欧美精品aⅴ,青草无码一区二区三区,中国美女胸乳 裸露网站视频。

??时事2：欧美三级性爱网

??10月27日,黑龙江、乌苏里江抚远段全线封江,

　　小学六年，孩子们必须阳光。失败时品味阳光，他会得到信念;成功时品味阳光，他会得到激励;迷茫时品味阳光，他会得到启示;奋斗时品味阳光，他会得到力量……

,男人添女人高潮免费网站,黄片AAAAA带,小南被按着c到喷射白色液体。

??10月27日,山西运城向“新”出发 擘画高质量发展蓝图,

　　不然，谁没事吃狻猊啊，这种生物，血液稍纯一些的就凶气滔天，就更不要说是太古遗种了，让一个大族都压力巨大，忌惮不已。

,国产乱伦视频91,欧美老妇黄色片,亚洲综合区小说区。

??时事3：国产亚洲视频在线免费观看

??10月27日,在27岁，樊振东遇到了自己的“赛点”,

　　即便是那头强大的祭灵也没有一丝还手之力，在天空中炸开，化成一团血雾，飘入这头庞大凶兽的口中。

,a片插抽,火影自慰网站,www.亚洲黄色片视频网站。

??10月27日,《“全球南方”媒体智库高端论坛圣保罗宣言》在巴西发布,

　　我认为要成为一个合格的社干部，要努力做到以下几点： 第一，要懂政策。在当前农村新形势下，仅仅凭着过去的老套套老经验办事，那肯定是行不通的。为此，我们都要进一步增强学习意识，提升学习成效。除了学习基本的文化知识和实用技术外，作为村干部，特别要加强政策法律的学习。文件就是政策，大家掌握了多少?农村最低生活保障的政策、农村合作医疗的政策、计划生育的政策、土地管理的政策，大家是否真懂?能否向群众解释清楚?现在提倡依法治国，农民依法维权的意识也越来越浓，特别是现在大量的农民外出打工，这些外出打工的人，他们的政策观念、法制意识越来越强，如果他们懂而我们村干部不懂，甚至一问三不知，就不会真得到他们的尊重，就无法做群众的工作。

,日韩午夜理论免费,黄色网站免费看现看啊啊啊,我的世界美女被 羞羞。

??时事4：国产色色网

??10月27日,四川甘孜州：稻城亚丁牛奶海如蓝宝石镶嵌群山,

　　三、务必严格遵守换届工作纪律。

,7777精品视频在线观看,jlzz大全中国女人丝袜,美黄色片一二区。

??10月27日,中办、国办印发《关于健全新时代志愿服务体系的意见》,

　　它身长足有数十丈，浑身银色鳞片锃亮，光辉灿烂，用力摆动躯体，利爪撕裂大地，巨石崩飞，宛若一个盖世魔王。

?第一百九十章 神山来客,caopeng97,人人人草,欧美α视频。