新万博体育

　　猫眼电影记者 王云志 报道Q8X2R7L1T4J5M9B6W3

机器之心报道

编辑：Panda

昨天，DeepSeek 在 GitHub 上线了一个新的代码库：LPLB

项目地址：https://github.com/deepseek-ai/LPLB

没有发推文，也没有公众号更新，少有的几个技术博主分享的推文也关注不多。截至目前，该项目的 star 数量也还没超过 200。

但仔细一看，这个项目却似乎并不简单，值得新万博体育：关注。X 网友 gm8xx8 评论认为这表明 DeepSeek 正在解决正确性和吞吐量瓶颈问题，为下一版模型发布做准备。

项目简介

LPLB，全称Linear-Programming-Based Load Balancer，即基于线性规划的负载均衡器。

顾名思义，LPLB 是一个并行负载均衡器，它利用线性规划（Linear Programming）算法来优化 MoE（混合专家）模型中的专家并行工作负载分配。

具体来说，LPLB 通过以下三个步骤实现动态负载均衡：

动态重排序： 基于工作负载统计信息对专家进行重排序（Reordering）。构建副本： 结合静态拓扑结构构建专家副本（Replicas）。求解最优分配： 针对每个批次（Batch）的数据，求解最优的 Token 分配方案。

更具体而言，LPLB 的专家重排序过程由 EPLB 协助完成。而实时工作负载统计信息可以由用户提供、通过 torch.distributed 收集，或直接从 Deep-EP 缓冲区的内部通信器中获取。至于求解器，则使用了内置的 LP（线性规划）求解器，其实现了单 SM（Streaming Multiprocessor）内点法（IPM），并利用了 NVIDIA 的 cuSolverDx 和 cuBLASDx 库进行高效的线性代数运算。

如此一来，MoE 负载不均的问题可以得到有效解决，即在 MoE 模型中，某些「专家」可能比其他专家接收到新万博体育：的 Token，导致某些 GPU 忙碌而其他 GPU 空闲。

X 网友 big goose 指出这与英伟达的用于调度 SM (Streaming Multiprocessor，是英伟达 GPU 的核心计算单元) 的方案非常相似，只是将抽象提升到了 pipeline 层级。LPLB 强调「单 SM」，意味着它的求解过程非常轻量化，不会占用过多计算资源。

不过需要指出，LPLB 目前应该还未被用于生产流程。DeepSeek 在 Readme 文件中表示：「LPLB 目前处于早期研究阶段，性能改进情况仍在评估中。」

LPLB 的工作原理

LPLB 是在 EPLB（专家并行负载均衡器）基础上的扩展，旨在解决 MoE 训练中的动态负载不均衡问题。

EPLB vs. LPLB

EPLB： 主要处理静态不均衡（例如，由于数据分布特性，某些专家总是长期过载）。LPLB： 专注于处理动态波动（由训练过程中小批次数据的随机性引起的瞬时负载抖动）。

核心机制

冗余专家 (Redundant Experts)： 每个冗余专家（副本）都链接到一个原始专家，从而在 GPU 之间形成连接边。边容量 (Edge Capacity)： 一条边的容量定义为当前批次中分配给该冗余专家的 Token 数量，这决定了用于平衡负载的最大 Token 流量。LP 优化 (LP Optimization)： LPLB 求解一个线性规划问题，在遵守边容量限制的前提下，沿着这些边重新分配 Token，以最小化专家并行（EP）组内的负载不均衡。

实现流程

首先通过 EPLB 选择需要复制的专家（仅重排序，此时未复制）。然后根据选定的 LPLB 拓扑结构，复制负载最重的专家。通信优化： 实时工作负载的同步使用 NVLINK 和 NVSHMEM 进行优化，替代了传统的 torch.distributed.allreduce，从而大幅降低通信开销。这正是需要预装 DeepEP 的原因。

局限性

尽管 LPLB 提供了动态优化，但目前仍存在一些局限：

忽略非线性计算成本： 当前的规划器仅平衡 Token 总数，未考虑分组矩阵乘法（Grouped GEMM）时间成本的非线性特征。这可能导致在某些情况下性能并非绝对最优。求解延迟： 求解器在节点内（intra-node）优化大约需要 100 ?s（跨节点时间更长）。对于非常小的 Batch Size，这个延迟可能不可忽略。极端不均衡情况： 在全局负载极端不均衡的情况下，LPLB 的表现可能不如 EPLB。这是因为 LPLB 在分配冗余专家时存在差异（LPLB 避免将多个副本分配给同一个原始专家）。

典型拓扑结构

LPLB 允许通过修改 r2o 矩阵来定义专家副本的分布方式。以下是几种典型的拓扑：

立方体 (Cube)：在 GPU 子集上复制专家，形成带有对角边的立方体图。这要求每个 GPU 至少 2 个专家。适用场景： 适合在 8 GPU 的 EP 子组内进行平衡，且不会牺牲跨节点通信性能。超立方体 (Hypercube)：类似于 Cube，但不包含对角边。这需要 16 个 GPU。适用场景： 适合跨 16 个 GPU 的专家并行。环面 (Torus)：在同一节点内的邻居 GPU 上复制一个专家，在邻节点的 GPU 上复制另一个专家，形成环面图。其要求 每个 GPU 至少 2 个专家。优缺点： 对全局平衡有效，但由于涉及新万博体育：的节点内通信，效率通常低于 Cube。

结语

DeepSeek 开源的这个 LPLB 库，本质上是在试图解决大模型训练中「木桶效应」的问题，即训练速度往往取决于最慢（负载最重）的那个 GPU。

它的创新点在于引入了线性规划这一数学工具来实时计算最优分配，并利用底层的 NVSHMEM 技术来打破通信瓶颈。对于正在研究 MoE 架构训练加速的开发者来说，这是一个非常有价值的参考实现。

具体的安装和测试指南请访问原代码库。

??时事1：奥博APP下载

??11月20日,浙江杭州：托起残疾人的“共富梦”,

　　第四，加快城镇化进程，是应对区域经济激烈竞争的有效措施。城市是区域经济的重要增长极和重要载体，其吸引和辐射作用决定着区域经济社会发展进程。当前区域之间的竞争，在很大程度上表现为中心城市实力的竞争，表现为城镇群体的竞争。从周边市县来看，各地都把推进城镇化作为提升区域经济竞争力的战略举措来抓，倾力进行打造，特别是原先工作较为落后的西峡、淅川、内乡等县城镇化建设的成效特别显著，可以说是日新月异、面貌大变。我们毗邻的湖北省襄樊市已列入湖北省区域性副中心城市采取超常规措施，强力培育，加速发展。这给我们带来了巨大的压力和挑战，我们必须立足自身特点，抓住机遇，化解矛盾，应对这一激烈的区域竞争。特别是要大力实施中心城区带动战略，尽快把县城做大做强，带动重点镇、小集镇和中心村的发展。

,opt电竞。

??11月20日,贵州侗寨晒秋忙,

　　“不好！”所有宗老都大吃一惊。

,棋牌牛牛抢庄,188亚洲体育与真人,大满贯官网登录。

??时事2：英亚国际下载

??11月20日,热解读 | 新年大国会客厅 习主席再提中欧之“桥”,

　　三要创新工作思路。工作没有创新就没有特色，就没有生命力。这就要求我们要科学把握新形势，领会新精神，接受新任务，研究规律，创新思路，确保各项工作抓出新成效、取得新进展、迈上新台阶。要善于把各项工作放在全县乃至全市、全省大的范围内去考虑、去谋划、去把握，大力弘扬“有一必争、有冠必夺”的争先进位意识，不断改进工作方法，突出工作特色，争创一流业绩，确保各项工作有亮点、有实效、有位次，从而出成果、出经验。

,2026世界杯投注驻fc3,澳门葡京官网,乐虎国际官网客户端。

??11月20日,不断深化对全过程人民民主的认识(学苑论衡),

　　啥？杀了一头祭灵？一群强者心中又是一颤，差点石化，就是他们都不大愿意招惹祭灵，罗浮大泽的人杀祭灵，也都是很谨慎的。

,旧版球探体育比分,BOB足球,火狐APP下载。

??时事3：必赢亚洲网页登录

??11月20日,《乡愈》首发出版 引发读者思考回归亲情本源,

　　我认为要成为一个合格的社干部，要努力做到以下几点： 第一，要懂政策。在当前农村新形势下，仅仅凭着过去的老套套老经验办事，那肯定是行不通的。为此，我们都要进一步增强学习意识，提升学习成效。除了学习基本的文化知识和实用技术外，作为村干部，特别要加强政策法律的学习。文件就是政策，大家掌握了多少?农村最低生活保障的政策、农村合作医疗的政策、计划生育的政策、土地管理的政策，大家是否真懂?能否向群众解释清楚?现在提倡依法治国，农民依法维权的意识也越来越浓，特别是现在大量的农民外出打工，这些外出打工的人，他们的政策观念、法制意识越来越强，如果他们懂而我们村干部不懂，甚至一问三不知，就不会真得到他们的尊重，就无法做群众的工作。

,世界杯猜球在哪里买,18luck新利app,果博平台首页。

??11月20日,《广东省科技创新条例》10月施行 提出多项首创性制度措施,

　　“就是你了，去你们族中禀报，就说我最喜欢宝具了，也喜欢宝术，我很乐意跟他们坐下来谈。”小不点指向一个青年，让他去报信。

,天博注册彩金,sbobet登录,可以玩的德州app。

??时事4：优博官方网站

??11月20日,冰岛：火山活动逐渐平息 专家称危险仍存,

　　狈风暗恨，竟未击中，他猛地跃起六七米高，以高高在上的姿势向着小不点踏去，势不可当。

,188金宝博网站提现,世界杯赌球网站在哪,世界杯竞猜网上投注。

??11月20日,国家统计局：2023年全年CPI比上年上涨0.2%,

　　在血雨腥风的战争岁月里，中华大地上众多英雄儿女不屈于外来侵略的压迫，不屈于反动统治阶级的血腥镇压，不屈于风霜雪雨的艰苦磨难，为了中国人民的翻身解放

,开云开户网址,M6app链接,现金电子注册平台。