新万博体育

　　猫眼电影记者 楚悼王 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：打扑牌不盖被子怎么办!

??10月25日,香港警方展开反毒品行动拘99人 年龄最小者仅12岁,

　　少妇虽然很修为极高，实力非常强大，但是与这个老人比起来，那就什么都算不上了，当即就脸色发白，浑身符文要爆碎了。

,91精品啪在线国产。

??10月25日,科学家发现核心菌群“跷跷板”模式 有望成为评估肠道健康新标准,

　　领导干部是人民的公仆，顺应民意、化解民忧、为民谋利是自己的天职。这就要求我们必须紧跟时代发展的步伐，与时俱进，开拓创新，把主要精力用在经济发展和社会稳定上，以求实的作风，始终把人民群众的利益挂在心上，把人民群众的事情抓在手上，要深怀爱民之心，恪守为民之责，善谋富民之策，多办利民之事。以人民群众最关心的热点、难点问题为重点，实实在在为群众解难题，诚心诚意为群众谋利益。作为村级干部无论职位高低、权力大小，就是要忠诚地履行职责，用诚实守信的言行赢得组织和群众的信赖，真正做到“靠得住、有本事”。

,国产一级二级精品黄色网站视频,三及片视频,视频一区二区小说在线。

??时事2：扒开美女❌狂揉❌樱花岛麻豆

??10月25日,加拿大政府宣布大幅削减国际留学生招生名额,

　　2、召开好几个会，加强月考、期中考试和期末考试的复习和分析工作

,好男人WWW.Com,爆乳女教师のおっぱい的来源,欧美www黄色网站。

??10月25日,农业农村部：春节期间“菜篮子”产品供给总量有保障,

　　严肃纪律，强化管理，发挥好表率作用。办公室处在众人瞩目、比较特殊的位置，办公室工作人员特别是领导身边的工作人员往往是人们关注的对象。我们必须时刻用党的纪律严格约束自己，自重、自某某、自警、自励，廉洁奉公，洁身自好。在这方面，应该比其他岗位人员要求更高、更严。办公室领导班子要自觉地、模范地遵守各级党委和政府有关廉政的规定，做为政清廉的模范。要严格遵守机关的各项制度，一切按制度办事，决不做先斩后奏、越位犯规的事。

,手机色网,www.天堂av在线,毛片超级碰碰。

??时事3：国产日韩欧美在线视频一本到

??10月25日,数据资产化激活要素价值,

　　大地上，繁盛的雷族成为了过去，一座又一座巨城人去楼空，数千万人都被吞天雀一口吃掉，称得上是一场大劫。

,约尔被 吸乳羞羞,日韩AV狠狠色一区,xnxn下载软件。

??10月25日,进博会，共享机遇共创未来,

信用卡一万多逾期起诉会坐牢吗？逾期起诉流程是什么？

,男人天堂日韩精品,在线观看国产三级,色情爱爱网。

??时事4：榴莲视频色板

??10月25日,2023年云南铁路全年和高峰日旅客发送量双创历史新高,

　　同学们，你们知道火警电话是多少吗？非常正确，119。为增加全民的消防安全意识，使电话号码“119”更加深入人心，公安部于1992年发起，将每年的11月9日定为“全国消防日”。

,爽 好大 快 深点日本网站,一本大道大臿蕉无码视频下载,黄色网站在线免费播放。

??10月25日,推动妈祖文化走向世界 首届“妈祖文化与区域发展”研讨会举行,

　　四是要在为民惠民上实现新突破，让干部更加“有干劲”。 我们党的宗旨就是为人民服务，这绝不是一句口号，要赢得广大人民群众的支持和信赖，必须牢固树立民生为本的理念，把群众福祉作为工作的主线、把群众满意作为最高目标，多办惠民利民的好事实事。要把群众对美好生活的向往，作为我们的奋斗目标。要高度关注教育，切实解决好学校遇到的困难和问题;要抓好各项惠民政策的落实，对于合作医疗、养老保险等惠民利民政策，要确保落实得全面、阳光，同时，要调动和协调好方方面面的力量，加大对困难群众以及鳏、寡、孤、独等弱势群体的救助力度，让群众感受到组织的温暖。要大力优化群众生活环境，抓好环卫一体化等工作。

,综合图区 自拍 卡通 清纯,黄色软件下载。,亚洲性a爱免费视频。