【新智元导读】杜克大学团队发现，扩散大语言模型只需关注少量「中奖」token，就能在推理时把速度提升61-97倍，还能让模型更懂格式、更听话。新策略DPad不训练也能零成本挑出关键信息，实现「少算多准」的双赢。

在大型语言模型的优化中，业界通常认为计算量与模型性能正相关。

然而，杜克大学陈怡然教授团队的一项最新研究DPad，却揭示了一个反直觉的现象：对于扩散大语言模型（dLLMs），通过一种「先验丢弃」策略，主动减少其计算量，不仅能带来高达61倍的推理加速，还能意外地增强模型语境学习的能力。

这一发现源于对dLLM内部一种「中奖彩票」（Lottery Ticket）现象的洞察。模型在生成文本时，其庞大的注意力网络中似乎隐藏着一个极度稀疏但高效的「中奖组合」。

DPad的核心贡献就在于，它无需训练，便能在推理时动态地、近乎零成本地找出这个组合，从而实现速度与精度的双重飞跃。

论文作者团队来自杜克大学CEI中心，由实习生陈欣骅、黄思韬及郭聪博士共同完成，指导教师为李海教授、陈怡然教授，其他作者还包括魏迟越、何银涛、张健一。

团队发现，dLLM的独特之处在于双向注意力，这使得它在生成文本时，会关注所有待生成的后文词元（Suffix Token），并将它们用作规划全文的「草稿纸」。

「草稿纸」机制使得模型能在Transformer的第n层往后文写入信息，然后在第n+1层读取后文信息，用于辅助前文的解码。

图1 「草稿纸机制」示意图，左下角为前文往后文写入信息，右上角为前文从后文读取信息

前文提到，dLLM在解码前文时，会将大段的后文词元作为草稿纸。

团队进一步分析了模型对后文词元的注意力分数，发现模型对后文词元的注意力随着距离快速衰减，但还是会有一些零星「尖峰」。

说明后文词元有强烈的稀疏性，仅存在少量比较重要的词元。

这个发现完美契合了深度学习中著名的「彩票假说」（Lottery Ticket Hypothesis）。

受此启发，团队提出了「扩散彩票假说」（Diffusion Lottery Tickets Hypothesis）：在dLLM的后缀token中，存在一个稀疏的「中奖彩票」子集，只要能「抽中」它们，就能在大幅降低计算成本的同时，达到甚至超越完整模型的性能。

图2 当前块对后缀token的注意力分数图。可以看到，后文token存在部分尖峰

这也是正常词元剪枝(Token Pruning)的逻辑——统计注意力分数，确定不重要的词元，然后将其删除。

然而，DPad团队并不满足于此，他们进行了一项颠覆性的实验：强行删除那些距离很远、但注意力得分很高的「尖峰」词元。

不同于自回归模型，dLLM展现出了惊人的「自愈能力」，仿佛后文词元的信息可以自由流动，当一个关键路径被阻断时，注意力会立刻转移到邻近的词元上，形成新的信息通路。

图3 「注意力迁移」现象，删除「关键词元」后，模型的注意力尖峰转移到附近词元

这个「注意力迁移」现象有力地证明：dLLM的全局规划能力并非依赖于某些特定位置的「明星词元」，而更像是一种分布式的、可替代的冗余系统。

研究人员并没有必要花费大量的计算去确定「关键词元」，直接先验地剪枝，最终保有一套系统就行。

不再让模型「全力计算后才发现浪费」，而是在计算开始前就果断地丢弃掉绝大部分冗余部分。

1.滑动窗口 (Sliding Window)：将模型的「目光」强制聚焦在当前解码位置附近的一个固定长度窗口内，从根本上杜绝了对遥远未来的无效关注。

这好比作家在写当前章节时，只详细规划紧邻的几章，而不是构思最后一章的具体措辞。

2.距离衰减丢弃 (Distance-decay Dropout)：在窗口内部，也并非一视同仁。DPad采用一种随距离递减的概率来保留词元，即「越近的草稿越详细，越远的草稿越潦草」。

这两招简单而有效，共同构成了一个动态的「中奖彩票」筛选器，让模型在每一解码步都只使用一个极度稀疏但高效的注意力子集。

图4 (a)自回归模型；(b) 传统dLLM，需要关注所有后缀token；(c) DPad，仅关注附近少数经过筛选的后缀token

DPad带来的并非传统意义上「牺牲精度换速度」的权衡，而是一场双赢。

在常规评测中，「灵活匹配」（Flexible-Match）只要求答案数值正确，而「严格匹配」（Strict-Match）则要求模型严格遵循范例的格式与推理步骤，是衡量模型「语境学习能力」的关键指标。

图5 「灵活匹配」得分和「严格匹配」得分。原始模型（左）没能按照「####」的格式输出答案，没能通过「严格匹配」；使用DPad（右）后模型成功「记得」按「####」输出答案，通过「严格匹配」

实验显示，原始的LLaDA-Instruct模型在GSM8K任务上严格匹配率仅为37.38%，因为它虽然能算对答案，却无法很好地复刻范例格式。

而应用DPad后，通过滤除大量无关后文词元的干扰，模型能更专注于学习prompt中的有效信息，严格匹配率跃升至63.84%。

这表明，DPad让模型变得更「专注」，更能领会并执行复杂指令。

当模型不再需要为海量冗余信息耗费算力后，其推理速度得到了指数级解放。在短示例、长文本生成场景下，DPad的优势被发挥到极致：

图9 在GSM8K(1024 tokens, 1-shot)任务上，LLaDA-1.5+Fast-dLLM+DPad实现了61.39倍的加速

图10 在HumanEval(2048 tokens, 0-shot)任务上，Dream-Base+Fast-dLLM+DPad实现了97.32倍的加速

在LLaDA-1.5模型（1024 词元输出）上，DPad结合并行解码等优化后，实现了61.39倍的综合加速。

在Dream模型（2048 词元输出）上，这一数字更是达到了97.32倍。

它通过一种巧妙的、免训练的「事前筛选」机制，揭示并利用了dLLM中潜在的稀疏结构。

其带来的不仅是接近两个数量级的推理加速，更有对模型深层能力的意外增强。

这项工作为我们开辟了一条全新的优化思路：未来的模型设计或许可以更大胆地探究稀疏性，让dLLM在「化繁为简」的道路上走得更远。

新万博体育

免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」

「统计」P6F3X2M7T9QJ8L1B4WZR

2.25MB

版本V4.5.75

下载APK 高速下载

下载手机看片黄色片A安装你想要的应用更方便更快捷发现新万博体育：

34%好评(39236人)

详细信息

软件大小: 45312.12070MB
最后更新: 2025-09-27 23:19:57
最新版本: V2.39769.2
文件格式: apk
应用分类:ios-Android 在线黄片,com
使用语言: 中文
: 需要联网
系统要求: 2.45566以上

应用介绍

一，精品超碰在线，国产午夜Av无码无片久久
二，特黄特色的大片在线观看免费视频，开操网站
三，99re66精品视频在线观看，免费观看黄色一级毛片
四，亚洲最大黄色网站在线观看，黄色网址免费观看不卡
五，国产乱伦视频91，欧美乱人伦视频在线香蕉
六，啊啊啊视频无码在线观看,欧美性爱午夜福利，操逼性交网站欧洲
七，美女黄插
【联系我们】
客服热线：134-2881-646

加载新万博体育：

版本更新

V2.5.47

国产精品久久久久久久精品福利

三级欧美性爱视频

影音先锋久久资源

89748.78MB

102好评

人人色人人射
oumeihuangse在线免费播放

黄网无码

33627.37MB

963506好评

欧美一级婬片A片护士
色色色爽爽爽

2021精品最新国产视频

13.83MB

311好评

欧美VA免费精品高清在线
2020亚洲国产精品无码色

www.啪啪黄色视频com

53.47MB

277好评

专门看小泑女的网站91
性欲一级片

米奇888

71.22MB

705好评

色综合天天干天天日
妓女影院妓女网妓女AAA

91福利午夜一区二区在线观看

83.79MB

336好评

国产精品自拍区
欧美孕妇变态重口另类

亚洲另类国产

23.74MB

102好评

特黄久久久国产精品日比大片
欧美黃色A片免费直播

人人操人人玩人人人人看人人

50.89MB

921好评

精品丝袜国产自在线拍AⅤ
aaaa级国产黄色网站

巨乳操逼视频

83.52MB

561好评

一级A婬片试看45分钟
免费一级特黄特色大片不卡

欧美性爱建材

83.68MB

753好评

欧美另类偷自拍视频区
www.ahrwzdm.com

hh99m 福利毛片

27.35MB

3029好评

久久99精品国产99
黄片wwwwww.免费

超碰公开成人人看人人

80.99MB

684好评

精品国产呦系列免费观看
久久国产高清一区二区三区

草草影院地址国产第一页

65.23MB

743好评

国产a视频精品免费观看
免费美女网站

永久永久妓女妓女在线视频

54.59MB

759好评

农村少妇黄色视频
下属送娇妻献身系列

国内野战老熟妇

57.62MB

682好评

xxxxx 性
A级毛片免费高清视频不卡

熟女乱中文字幕熟女熟妇

24.66MB

357好评

中文字幕丝袜无码一区二区
99riav4

久久99热精品

13.74MB

313好评

久久久免费观看视频
影音先锋播放资源

黄色网站一级二级三级

84.16MB

218好评

一级做a爰免费视频
国产欧美日韩高清乱码

国产各种盗摄视频

45.23MB

736好评

日本人妻客厅乱人h伦视频
成在线人免费视频观看

A片在线观看免费播放视频

10.15MB

185好评

操操逼免费视频
一本色道久久88加勒比—综合

寡妇乱子A片免费看

44.87MB

361好评

加勒比金8天国欧美一区久久
国产永久免费裸体美女网站

国产福利AV在线

91.48MB

208好评

91自拍视频免费在线观看
人人操人人爱人人干

99精品国产在热久久无毒

30.71MB

906好评

视频一区视频二区中文字幕女同视频
国内黄色网站视频

国产亚洲第3页

30.22MB

543好评

国内自拍精选视频在线观看
一区二区免费不卡在线

老寡妇一级毛片视频在线

29.52MB

121好评

国产无码初高中生精品视频
91pom国产熟女

黄色网址网站人人草

70.18MB

458好评

免费在毛片看的视频
chinese熟女一区二区 title="国产精品无码A级毛片" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

欧美一级最新在线

亚洲无码视频一区

详情
被插入视频 title="国产在线精品露脸一区" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

伊人手机在线观看

在线视频三级片

详情
操射射操综合 title="人人色人人插人人看" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

看一级毛片试看一下

观看黄色网址

详情