新万博体育

　　猫眼电影记者 陈群杨 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：黄色a级一片网站

??10月28日,近百名女足U15小队员在成都参加“雏凤计划” 入选者将赴德训练,

　　这一路上他们见到了很多骸骨，雪白而巨大，有五六米长的禽骨，更有磨盘大的兽头骨，都是山林中的猛兽与凶禽被生生撕食后所致，此地死气沉沉。

,97se综合视频在线观看。

??10月28日,山西积极应对人口老龄化 健全完善工作体系,

　　过去的一年里，全体会员怀着团结、友谊、和谐、互进的信念，为了共同的理想，为了真挚的友谊，为了热爱的事业，各抒己见，建言献策，出资出力，为协会发展集聚了智慧和力量，这些变化是全体成员共同努力的结果。

,人人爽人人添人人超爽,欧美性视频一区二区,国日黄色片产精。

??时事2：免看高潮毛片在线24小时资源视频

??10月28日,2023年浙江经济总量迈上8万亿新台阶 经济大省何以勇挑大梁,

　　俗话说得好：先成人，后成才。有人说：智育不合格的人是次品，体育不合格的人是废品，德育不合格的人是危险品。的确是这样的，在竞争激烈的现代社会，仅仅有点成绩、有点才能还不够，只有具备了美好的品德、高尚的情操，才能拥有光明的前途。因此，我们要以《中学生守则》、《中学生日常行为规范》以及《鸿桥中学学生一日常规》为行为准则，时时处处事事严格要求自己。同学们，你们只要不断地解剖自我，严以律己，规范自己各方面的行为，就一定能使自己在新的学期里获得可喜的进步。

,看黄专区,你懂的图片,G头条安装包链接下载。

??10月28日,习言道 | 建设绿色家园是人类的共同梦想,

　　“自然不会是太古凶兽，应该是一头遗种，血脉也许不纯了，不知道为何，遭受了重创。”族长说道。

,在线视频小说,久久鲁一鲁做,国产老女人3p。

??时事3：黄频视频网站国产在线观看

??10月28日,外交部：BBC妄言新疆番茄采收存在“强迫劳动” 是典型的双标,

　　雨蒙懵了，被带到巨城的一座宏伟的大殿中，上方有三轮璀璨的太阳，轰隆隆作响，皆散发大道符文，让人无法正视。

,GayGay大肉大捧,被 到爽 流视频鉴黄师下载,人人做人人澡人人添。

??10月28日,多国专家驳斥“中国产能过剩论”：不过是美政治炒作和保护主义的借口,

　　今年的城市建设和公路建设任务已经明确，各有关单位要尽快完成工程的规划设计、资金筹措、招投标手续等准备工作，确保按时开工。

,香港曰本韩国三级网站,赫敏裸体被 视频网站,很黄色网站在线免费观看。

??时事4：漂亮人妻同意3p视频

??10月28日,云南曲靖市住房和城乡建设局原副局长龙辉被查,

　　突然，小不点浑身寒毛倒竖，快速侧身，一支冰冷的铁箭擦着他的喉咙而过，砰的一声没入山石中，铿锵作响。

,欧美做真爱,欧美全部免费,激情乱伦视频,视频免费一区二区无码。

??10月28日,新疆维吾尔自治区自然资源厅原一级巡视员申海涛被查四川2023年铁路建设完成年度投资居全国第一,

　　公司同时免费为广大求职者提供就业与再就业平台及职业培训与指导服务，公司的宗旨是：帮助企业全程解决人力资源问题。促进劳动力就业与再就业，缓解企业用工压力及人才就业压力，帮助新万博体育：的企业及人才实现理想，迈向成功。我们不断的创新实践，力求为客户提供就业市场。做到三诚心：诚信合作，诚心办事，诚心服务，提高自我，追求卓越。以团队核心，以诚信为生存，合作共赢，实现公司梦想。 目前我公司已与300多家事业单位、国有大中型企业、事业单位机关、民营企业、大中专院校建立了长期的合作关系，同时也与省内外多家人力资源服务业同行建立了长期的战略合作伙伴关系。我们始终坚持“以人为本、资源整合、快乐工作、幸福生活、科学管理，和谐共赢、互惠互利”的经营理念，我们坚信凭着公司专业的团队和优质的服务，定能为求职者创造机会，为企业创造财富，开创美好未来。我们公司的口号是：一年起步，二年发展，三年壮大，四年、

,性爱激情视频网站,里番ACG 里番本子wwe,哪里能看黄色网站。