新万博体育

　　猫眼电影记者 何冠昌 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：丁香网五月网婷婷五月

??10月28日,多领域亮眼数据折射发展活力 为蓬勃向上的中国经济写下生动注脚,

运动会田径运动员加油广播稿 篇5

,寡妇做爰过程口述。

??10月28日,国足、国奥、国青、国少各有各的忙 中国男足今年四线出击,

　　五年赢天下。

,美女扒开腿让男生桶白浆动态视频,国产8页,四肢被绑在床上挠胳肢窝和肚子腰。

??时事2：滋润刚结婚少妇

??10月28日,最高检：高质效办理借款合同纠纷等金融案件 以金融安全促民生保障,

同上一堂国家安全教育课个人 篇30

,真人一进一岀一级特黄A视频,狼友视频自拍,27快报第88。

??10月28日,高盛预计美国降息时点从3月推迟至5月！人民币迈向7.2,

　　如果能演化的稍微完满一些，比之紫山、雷族、罗浮大泽的镇族神通都不会逊色，这是一种让大族都眼红的原始宝术。

,久久老色永久免费,国产精品自拍欧美一区,精品久久人人妻人人做精品。

??时事3：香蕉视频欧美性爱

??10月28日,连续错失点球！外媒称姆巴佩精神状况出现问题,

　　这学期，对于我们毕业班的同学来说是至关重要的.。两个多月后我们就要面临人生道路上第一道关口 —— 小升初。面对我们人生中的第一次挑战，我们一定会勇敢地迎接这次挑战。是以优异的成绩毕业，还是带有遗憾离开朝夕相伴的老师、同学而去？同学们，命运的航船掌握在我们自己手中，失败、成功都只能代表过去，“雄关漫道真如铁，而今迈步从头越”。让我们将最后的两个多月作为新的起点，以更饱满的学习热情，更踏实的学习作风，在老师的悉心指导帮助下，找准方向、增强信心、克服困难，投入到生动活泼、紧张有序、文明守纪的学习生活中去，以 骄人的成绩向老师、父母汇报。

,制服丝袜AV麻豆免费影视在线,瑟瑟屋,少罗打雷打狙。

??10月28日,今年退市第一股摘牌离场,

　　从后方追来的小红鸟张口，喷出一片霞光，带动着滔天神火，孕育出一口赤色仙剑，劈向巨大的凶兽。

,欧美性爱在线区,亚洲国产精品久久久久婷婷软件,性美女淫乱视频免费。

??时事4：精品日韩免费AAAA片

??10月28日,香港实施管制即弃塑胶餐具及产品法例 业界：“走塑”成本不转嫁消费者,

　　“青山绿水长留生前浩气，苍松翠柏堪慰逝后英灵”。忆往昔，在血雨腥风的战争岁月里，中华大地上众多英雄儿女不屈于外来侵略的压迫，不屈于反动统治阶级的血腥正压，不屈于风霜雪雨的艰苦磨难，为了中国人民的翻身解放，为了中华民族的伟大复兴，不惜抛头颅，洒热血，赴汤蹈火，舍生取义，矢志不渝，用他们宝贵的青春和热血，谱写了可歌可泣的壮丽诗篇，为中华民族的独立和解放事业立下了不朽的功勋。 “魂魄托日月，肝胆映河山。”烈士们走了，但他们的事迹会幻化成永不磨灭的丰碑，高高矗立于天地之间，高高矗立于后人心中。

,18岁以下禁看,在线观看美女做www,三级黄毛电影。

??10月28日,《跟着音乐大师去旅行》带读者体验一趟发现音乐的沉浸之旅,

　　兵器出鞘的声音不绝于耳，很多人举起了多半人高的阔剑，寒光闪烁，杀气弥漫，冲击的林中的树叶都簌簌坠落。

,国产极品美女高潮无套175,另类欧美性交,欧美 自拍 另类。