新万博体育

　　猫眼电影记者 邱孝 报道P6F3X2M7T9QJ8L1B4WZR

在工业级大语言模型（LLM）应用中，动态适配任务与保留既有能力的 “自进化” 需求日益迫切。真实场景中，不同领域语言模式差异显著，LLM 需在学习新场景合规规则的同时，不丢失旧场景的判断能力。这正是大模型自进化核心诉求，即 “自主优化跨任务知识整合，适应动态环境而无需大量外部干预”。

为解决此问题，北邮百家 AI 团队与腾讯 AI Lab 团队提出参数高效的对抗性混合专家架构 MoE-CL，专门用于 LLM 的自进化持续指令微调。其核心设计在于 “解耦 LoRA 专家” 与 “GAN 对抗降噪” 的结合：为每个任务配置专属 LoRA 专家以保留任务特定知识，避免参数更新相互干扰；同时设置共享 LoRA 专家，通过生成对抗网络（GAN）中的任务感知鉴别器抑制无关噪声，确保跨任务知识高效且精准传递，最终实现 “知识保留” 与 “跨任务泛化” 的平衡，这也是 LLM 自进化的核心逻辑。

从实验效果来看，MoE-CL 的自进化能力已在实际场景与基准测试中得到验证。在腾讯真实业务场景 A/B 测试中，它将人工介入成本降低 15.3%；在公开 MTL5 跨域基准与工业级 Tencent3 基准测试中，其平均准确率优于现有主流方法，且在不同任务训练顺序下保持稳定，证明其无需人工调整即可适配任务动态变化。

论文标题： Self-Evolving LLMs via Continual Instruction Tuning论文链接： https://arxiv.org/abs/2509.18133代码仓库：https://github.com/BAI-LAB/MoE-CL

01 引言

在数字经济蓬勃发展的当下，海量文本数据如潮水般涌入互联网平台。例如，新闻资讯的快速更新、电商平台的海量评论等多源异构数据每日激增，面临跨领域、高时效、强精度的多重挑战。若采用传统方案，为每种文本类型单独训练模型，将消耗巨大的计算资源与人力成本；而使用单一模型处理全领域文本，又因数据分布差异导致性能失衡，难以满足业务需求。在此背景下，亟需一种既能高效处理新任务，又能保留旧任务知识的通用技术方案。为此，我们提出 MoE-CL 大模型混合专家（MoE）持续学习架构，致力于打破传统方法的局限，以实现多领域文本任务的高效协同处理。使得大模型具备自进化能力：动态适应训练数据，自主优化跨任务知识整合。

02 方法

混合专家持续学习（MoE-CL）框架聚焦多任务学习中的知识积累与任务适应难题。其核心采用 Transformer 块的 LoRA 增强技术，重点优化前馈神经网络（FFN）层，通过引入低秩矩阵降低参数更新量与计算成本，同时提升学习效率。

MoE-CL 将 LoRA 专家分为任务特定与任务共享两类：前者专攻特定任务知识，后者提取跨任务通用信息。结合生成对抗网络（GAN）分离任务特定与共享信息，确保模型获取高质量共享知识。

架构上，N 层 LoRA 增强的 Transformer 块级联提取信息，最终由门控网络融合两类信息，为任务预测提供支撑。这种设计使模型既能满足任务特异性需求，又能利用任务共性，实现高效持续学习。

图 1：MoE-CL 的整体框架。MoE-CL 通过采用带有任务感知判别器的对抗性 MoE-LoRA 架构，缓解了灾难性遗忘问题。MoE-CL 主要由两部分组成，任务感知判别器优化和指令调整优化。

2.1 任务感知判别器优化

2.2 指令调整优化

03 实验

我们在 MTL5 和 Tencent3 两个评测基准上进行了实验，并将我们的方法与几种具有代表性的持续学习方法进行比较，以展示 MoE-CL 的有效性。

3.1 主实验结果

MTL5 和 Tencent3 评测基准上的实验结果如图 2，3 所示，有以下结论：

Tencent3 评测基准上的实验结果，使用腾讯混元作为基座模型。粗体和斜体表示根据主要评估指标准确率的最优和次优。

泛化能力与稳定性突出：相比所有基线方法，MoE-CL 平均准确率显著提升，且方差极小，在复杂任务中展现出优异的泛化能力与稳定性；知识迁移优势显著：MoE-CL 在正反向迁移上表现稳定，较 MoCL 更不易受后续任务影响，验证了生成对抗网络集成至混合 LoRA 专家网络的有效性；鲁棒性表现出色：面对不同任务序列顺序，MoE-CL 通过分离共享与特定任务专家的架构设计，在 MTL5 和 Tencent3 基准测试中展现出极强的鲁棒性 ，远超其他基线方法。

3.2 验证生成对抗网络的有效性

为验证对抗性 MoE-LoRA 架构对灾难性遗忘的抑制效果，本文构建了不含生成对抗网络（GAN）的 MoE-CL 对比版本。实验结果（图 4）显示，含 GAN 的 MoE 专家架构在持续学习任务中平均性能显著优于无 GAN 版本。这是因为 GAN 能够精准将特定任务信息分配至对应低秩适配器专家，有效规避任务间知识干扰，尤其在反向迁移（BwT）指标上表现突出，有力证明了 GAN 在防止灾难性遗忘方面的关键作用。

图 4：生成对抗网络对 MoE-CL 的影响。三个指标都是数值越大表明性能越好。

3.3 离线 A/B 测试

在腾讯真实文本分类任务中，模型依据置信度得分自动判定内容样本类别：超出阈值的样本被直接标记为合规（白样本）或不合规（黑样本），无需人工介入。剔除率作为核心评估指标，直观反映自动分类样本占比，剔除率越高，意味着人工成本越低。

为验证 MoE-CL 的实际应用价值，研究团队开展离线 A/B 测试，对比其与生产算法的剔除率表现。实验数据（图 5）显示，在任务 A 和任务 B 场景下，MoE-CL 均实现显著突破。其中，任务 A 场景中 MoE-CL 剔除率高达 28.8%，较基线算法提升 15.3%，直接降低了同等比例的人工介入工作量，切实为业务场景带来降本增效的商业价值。

通过剔除率衡量的离线 A/B 测试。

04 总结

混合专家持续学习框架 MoE-CL 通过三大核心设计破局：专属任务专家防止灾难性遗忘，任务共享专家促进跨任务知识迁移，生成对抗网络保障共享信息质量。三者协同运作，使模型高效适应新任务，实现大模型持续学习中的自进化。

??时事1：OD体育官方

??09月27日,保持最美形象 南京街头“孔雀”绿雕换冬装,

　　近了，小不点终于看清那是什么，像是祭灵的上下颌骨，也是其身体最坚固的部分，不然何以穿山？

,博乐体育在线官网。

??09月27日,雷军现身珠海航展，并登上运油-20参观,

　　小红鸟愤怒，它投鼠忌器，不敢大动干戈，而这头凶狂的生灵却无所顾忌，直接一口吞掉了数千万人。

,盈彩网app官网,威尼斯手机客户端,MG电子娱乐。

??时事2：平博沙巴体育app

??09月27日,王金平成立智库 称晚年致力于台湾和谐、两岸和平,

　　通过此次安全知识讲座，员工们树立了正确的安全观念，懂得了生命的重要性，使员工们学会了，如遇突发情况，该如何正确处理！此次安全知识培训得到了广大员工的一致认可，希望以后多组织类似的培训。

,欧博赌场网站,九游官网入口,澳门棋牌排行。

??09月27日,2023年我国造船三大指标同步增长 国际市场份额保持全球领先超九成受访大学生喜欢“上冰雪”,

　　精璧大爷的笑容顿时凝固了，等你研究透了，那得几十年啊，我还能看到那一天吗？还有，你个小兔崽子，我不叫精璧！

,必威手机官网登陆,欧宝登录体育登录,至尊炸金花安卓版。

??时事3：千赢国际官方娱乐网站登录

??09月27日,港交所与深交所签署合作协议 支持港交所综合基金平台建设,

　　首先，我向为公司辛勤工作、顽强拼搏的全体员工致以衷心的感谢，大家辛苦了!春回大地，万象更新!在这新春佳节即将到来之际，我再次向各位同仁致以新年最诚挚的的祝福!

,天博tb体育下载,九五至尊线上网址,奥博体育官网入口。

??09月27日,视评线丨巴勒斯坦“入联”再失败 撕开美国伪善“面具”,

　　小不点人还小，虽然在这个年龄段相对来说已经算是神力惊人，但是绝对的力量却比不上狈风，不过有骨文的神秘力量相辅，却也不惧。

,ag捕鱼大厅,ag登入,优发国际手机app下载。

??时事4：澳门电子游戏mg平台

??09月27日,湖南凤凰古城迎2024年初雪 银装素裹宛若泼墨山水画,

　　这里我要强调的是，平时如果真是工作需要。按章程办理，大家在一起吃吃饭，喝喝酒，无可非议。关键问题是我们中的一些人有时根本就没有来人，而是几个人在一起赌博，最后吃饭款也由政府买单。这实在是太过分了，这种现象以后我们发现一起，查处一起，绝不手软。还有少数同志遇到酒就来劲，喝起来就不要命，酒桌上推杯换盏，称兄道弟，一喝就喝得不认得天南地北，大话连篇，什么话都说，什么事都做。把干部的形象都跌尽了。二是玩风太盛。目前我镇干部队伍中，玩风是比较厉害的，玩风主要表现在打扑克、搓麻将、钓鱼等方面。特别是赌博之风愈演愈烈，不仅在家里赌、还拉到饭馆茶楼赌，拉到食堂赌，有的甚至在办公室也赌。不来赌资不开桌，不来大赌不刺激，少则几十元，多则成千上万元。我早就说过，工作之余，同事之间打打牌、玩玩小麻将，搞一些小刺激是可以的。但我们的少数同志却不分场合，不分对象，在什么场合下都玩，跟什么人都玩。少数同志在大庭广众之下与一些做生意人在一起也玩。玩出矛盾来还大吵大闹，这哪里有党纪国法!哪里像共产的样子，哪里像国家干部的样子?

,舞会的森林游戏,斗牛技巧概率4张牌,88355娱乐平台软件下载。

??09月27日,澳大利亚墨尔本发生枪击事件 致两人死亡,

　　“还怕你们不成？”狈村狩猎队伍的首领回应道，他十分雄壮，高足有两米三四，有一种压迫人的气息。

,申博官网,凤凰体育app买球官网,MG真人网址。