新万博体育

　　猫眼电影记者 杨月春 报道Q8X2R7L1T4J5M9B6W3

机器之心报道

编辑：Panda

昨天，DeepSeek 在 GitHub 上线了一个新的代码库：LPLB

项目地址：https://github.com/deepseek-ai/LPLB

没有发推文，也没有公众号更新，少有的几个技术博主分享的推文也关注不多。截至目前，该项目的 star 数量也还没超过 200。

但仔细一看，这个项目却似乎并不简单，值得新万博体育：关注。X 网友 gm8xx8 评论认为这表明 DeepSeek 正在解决正确性和吞吐量瓶颈问题，为下一版模型发布做准备。

项目简介

LPLB，全称Linear-Programming-Based Load Balancer，即基于线性规划的负载均衡器。

顾名思义，LPLB 是一个并行负载均衡器，它利用线性规划（Linear Programming）算法来优化 MoE（混合专家）模型中的专家并行工作负载分配。

具体来说，LPLB 通过以下三个步骤实现动态负载均衡：

动态重排序： 基于工作负载统计信息对专家进行重排序（Reordering）。构建副本： 结合静态拓扑结构构建专家副本（Replicas）。求解最优分配： 针对每个批次（Batch）的数据，求解最优的 Token 分配方案。

更具体而言，LPLB 的专家重排序过程由 EPLB 协助完成。而实时工作负载统计信息可以由用户提供、通过 torch.distributed 收集，或直接从 Deep-EP 缓冲区的内部通信器中获取。至于求解器，则使用了内置的 LP（线性规划）求解器，其实现了单 SM（Streaming Multiprocessor）内点法（IPM），并利用了 NVIDIA 的 cuSolverDx 和 cuBLASDx 库进行高效的线性代数运算。

如此一来，MoE 负载不均的问题可以得到有效解决，即在 MoE 模型中，某些「专家」可能比其他专家接收到新万博体育：的 Token，导致某些 GPU 忙碌而其他 GPU 空闲。

X 网友 big goose 指出这与英伟达的用于调度 SM (Streaming Multiprocessor，是英伟达 GPU 的核心计算单元) 的方案非常相似，只是将抽象提升到了 pipeline 层级。LPLB 强调「单 SM」，意味着它的求解过程非常轻量化，不会占用过多计算资源。

不过需要指出，LPLB 目前应该还未被用于生产流程。DeepSeek 在 Readme 文件中表示：「LPLB 目前处于早期研究阶段，性能改进情况仍在评估中。」

LPLB 的工作原理

LPLB 是在 EPLB（专家并行负载均衡器）基础上的扩展，旨在解决 MoE 训练中的动态负载不均衡问题。

EPLB vs. LPLB

EPLB： 主要处理静态不均衡（例如，由于数据分布特性，某些专家总是长期过载）。LPLB： 专注于处理动态波动（由训练过程中小批次数据的随机性引起的瞬时负载抖动）。

核心机制

冗余专家 (Redundant Experts)： 每个冗余专家（副本）都链接到一个原始专家，从而在 GPU 之间形成连接边。边容量 (Edge Capacity)： 一条边的容量定义为当前批次中分配给该冗余专家的 Token 数量，这决定了用于平衡负载的最大 Token 流量。LP 优化 (LP Optimization)： LPLB 求解一个线性规划问题，在遵守边容量限制的前提下，沿着这些边重新分配 Token，以最小化专家并行（EP）组内的负载不均衡。

实现流程

首先通过 EPLB 选择需要复制的专家（仅重排序，此时未复制）。然后根据选定的 LPLB 拓扑结构，复制负载最重的专家。通信优化： 实时工作负载的同步使用 NVLINK 和 NVSHMEM 进行优化，替代了传统的 torch.distributed.allreduce，从而大幅降低通信开销。这正是需要预装 DeepEP 的原因。

局限性

尽管 LPLB 提供了动态优化，但目前仍存在一些局限：

忽略非线性计算成本： 当前的规划器仅平衡 Token 总数，未考虑分组矩阵乘法（Grouped GEMM）时间成本的非线性特征。这可能导致在某些情况下性能并非绝对最优。求解延迟： 求解器在节点内（intra-node）优化大约需要 100 ?s（跨节点时间更长）。对于非常小的 Batch Size，这个延迟可能不可忽略。极端不均衡情况： 在全局负载极端不均衡的情况下，LPLB 的表现可能不如 EPLB。这是因为 LPLB 在分配冗余专家时存在差异（LPLB 避免将多个副本分配给同一个原始专家）。

典型拓扑结构

LPLB 允许通过修改 r2o 矩阵来定义专家副本的分布方式。以下是几种典型的拓扑：

立方体 (Cube)：在 GPU 子集上复制专家，形成带有对角边的立方体图。这要求每个 GPU 至少 2 个专家。适用场景： 适合在 8 GPU 的 EP 子组内进行平衡，且不会牺牲跨节点通信性能。超立方体 (Hypercube)：类似于 Cube，但不包含对角边。这需要 16 个 GPU。适用场景： 适合跨 16 个 GPU 的专家并行。环面 (Torus)：在同一节点内的邻居 GPU 上复制一个专家，在邻节点的 GPU 上复制另一个专家，形成环面图。其要求 每个 GPU 至少 2 个专家。优缺点： 对全局平衡有效，但由于涉及新万博体育：的节点内通信，效率通常低于 Cube。

结语

DeepSeek 开源的这个 LPLB 库，本质上是在试图解决大模型训练中「木桶效应」的问题，即训练速度往往取决于最慢（负载最重）的那个 GPU。

它的创新点在于引入了线性规划这一数学工具来实时计算最优分配，并利用底层的 NVSHMEM 技术来打破通信瓶颈。对于正在研究 MoE 架构训练加速的开发者来说，这是一个非常有价值的参考实现。

具体的安装和测试指南请访问原代码库。

??时事1：毛片A级毛片免费视频

??11月15日,国际专家：在实现“双碳”目标上，中国展现出了引领者的姿态和决心,

　　而后，他一溜烟跑了。

?第一百零四章 从容淡定,男人网在线。

??11月15日,2024暑期档电影票房突破110亿,

村干部培训班的 篇26

,美女扒开内裤羞羞视频网站,原神琳妮特裸体❌开腿黄漫,无码中文字幕黄色三级视频。

??时事2：国产 XXXX少

??11月15日,习近平会见尼泊尔总理,

　　总结近三年的工作，存在一些问题和不足，一是对专业技术知识学习还不够深入，今后工作中应继续加强自身学习，不断提高业务技能水平，提高商业化业务拓展、业务创新及风险管理控本事。二是对一些逾期项目虽然进行了期限重组，延迟了风险，而未完全实质性化解风险，三是系统的政治学习还不够深入，需要进一步加强政治理论的学习，尤其要深入贯彻学习新万博体育：总书记一系列重要讲话精神，提高政治素质。四是始终坚持党的优良作风的自觉性不够，距离时时、事事、处处践行“三严三实”还有一些差距。以上不足。需要在以后的工作中及时加以改善。

,大乔裸乳被爆 白浆的照片,一级婬片试看15分钟口咬,欧美操逼aaaaaa极。

??11月15日,打好“三峡牌” 重庆建设长江三峡国际黄金旅游带,

　　第四，要用严明的纪律规范行为。 作风问题是个老大难问题，不可能通过一两个月的建设就能得到全部解决。我们既要立足当前，扎扎实实解决好自身存在的突出问题，又要着眼长远，建立好长效机制。镇纪委刚刚出台了《20xx 年反腐倡廉建设工作意见》，上面对干部作风问题提出了明确的要求，我们必须坚决，执行。做到有令必行，令行禁止。今后，凡发现违反规定的人和事，不管涉及到谁，不管难度有多大，发现一起，查处一起，该除名的除名，该撤职的撤职，该调离的调离，决不心慈手软，姑息迁就。除追究当事人的相关责任，通报全镇外，还要追究所在村和单位主要领导的责任。今后，我们将进一步加强制度建设，用好的机制来做保证。每办一件事，都要制定个规矩，这个规矩就是纪律，我们将把干部业绩和重大过失记入档案，作为考核使用干部的重要依据。这里我要告诉大家一个好消息，上级文件已下发到我镇，从05 年起，凡年度被评为优秀的机关干部，就能享受800 到3000 元不等的奖励，我们将坚决把文件精神落实到位。会后，何修仓同志核实一下，负责把奖励金发放下去。另外，从今年起，凡年终被评为优秀的村干部，我们也一样给予一定的物质奖励。

,日韩乱码大黄片,亚洲 XXX222310,鸥美国产一级av免费看。

??时事3：夜色视频在线观看网址

??11月15日,完善中国特色社会主义法治体系（学习贯彻党的二十届三中全会精神）,

同上一堂国家安全教育课个人 篇2

,免费看操女人视频,先锋影音AV不鲁321资源,男的导管。

??11月15日,英雄从未远去，我们不曾忘记！王伟墓前有了歼-35A战斗机模型,

　　谢谢大家，我的演讲完毕。

,bottle,色先锋AV无码影音先锋,欧美后入式。

??时事4：国产美女精品91

??11月15日,头面部严重毁损修复治疗取得突破性成果,

　　在大家的共同努力下，转眼间半个学期已过去，期中考试也顺利结束。今天，学校决定利用升旗时间召开期中考试表彰大会，表彰的是九年级第二次模拟考试前十名的同学和六至八年级期中考试前十名以及在期中考试中进步幅度较大的学生。为的是总结经验，分析形势，振奋精神，齐头并进，促进同学们抓紧学习，更快地提高成绩，争取在下一阶段的学习中有新的突破。

,影音先锋888xy资源站,18女高潮喷液抽搐视频,国产99久久久国产精品性色。

??11月15日,斯巴达勇士儿童赛北京站打响 近18000名少年参赛,

　　你们要记住，青春是美好的，但是青春也不是永久的。希望你们能珍惜青春时光，继续前行，永不言弃。当你疲倦了，你就想想母校，母校见证了你许多优秀的品质，见证了你有多么顽强的毅力。当你面对挑战懈怠的时候，你就想想母校，这里的岁月教会了你一个质朴的人生哲理：只有付出才有回报。每当你们回望母校，就会看到自己曾经的影子，看到自己的起点。母校和老师会关怀着你，会远望着你，母校会期待着你，关注着你的每一点进步。

,久久久久亚洲Av片无码,欧美大片logo,男男Gay做受 高潮sm。