免费下载篮球(买球app 电脑版下载)「含模拟器」_新万博体育
篮球买球app 最近更新|更新列表|字母检索|下载排行|苹果专区|分类导航
网络游戏 单机游戏 手机应用 电脑软件 专题 热门排行榜
火狐体育网址多少 美高梅app下 名人娱乐 永利真人app 乐虎国际外围官网

当前位置：首页 → 电脑软件 → 乡村爱情16作妖再创新高 → 篮球买球app v7.722.1598.438549 安卓最新版

篮球买球app

篮球买球app

  • 电脑版下载
猜你喜欢
标签： 篮球买球app best365体育
详情
介绍
猜你喜欢
相关版本

篮球买球app截图P6F3X2M7T9QJ8L1B4WZR

内容详情

篮球买球app

新智元报道

编辑：LRST

【新智元导读】杜克大学团队发现，扩散大语言模型只需关注少量「中奖」token，就能在推理时把速度提升61-97倍，还能让模型更懂格式、更听话。新策略DPad不训练也能零成本挑出关键信息，实现「少算多准」的双赢。

在大型语言模型的优化中，业界通常认为计算量与模型性能正相关。

然而，杜克大学陈怡然教授团队的一项最新研究DPad，却揭示了一个反直觉的现象：对于扩散大语言模型（dLLMs），通过一种「先验丢弃」策略，主动减少其计算量，不仅能带来高达61倍的推理加速，还能意外地增强模型语境学习的能力。

这一发现源于对dLLM内部一种「中奖彩票」（Lottery Ticket）现象的洞察。模型在生成文本时，其庞大的注意力网络中似乎隐藏着一个极度稀疏但高效的「中奖组合」。

DPad的核心贡献就在于，它无需训练，便能在推理时动态地、近乎零成本地找出这个组合，从而实现速度与精度的双重飞跃。

论文地址：https://arxiv.org/abs/2508.14148

代码地址：https://github.com/Crys-Chen/DPad

论文作者团队来自杜克大学CEI中心，由实习生陈欣骅、黄思韬及郭聪博士共同完成，指导教师为李海教授、陈怡然教授，其他作者还包括魏迟越、何银涛、张健一。

独特的注意力机制

dLLM的草稿纸

团队发现，dLLM的独特之处在于双向注意力，这使得它在生成文本时，会关注所有待生成的后文词元（Suffix Token），并将它们用作规划全文的「草稿纸」。

「草稿纸」机制使得模型能在Transformer的第n层往后文写入信息，然后在第n+1层读取后文信息，用于辅助前文的解码。

图1 「草稿纸机制」示意图，左下角为前文往后文写入信息，右上角为前文从后文读取信息

反直觉的实验

随手一抓，都能中奖？

前文提到，dLLM在解码前文时，会将大段的后文词元作为草稿纸。

团队进一步分析了模型对后文词元的注意力分数，发现模型对后文词元的注意力随着距离快速衰减，但还是会有一些零星「尖峰」。

说明后文词元有强烈的稀疏性，仅存在少量比较重要的词元。

这个发现完美契合了深度学习中著名的「彩票假说」（Lottery Ticket Hypothesis）。

受此启发，团队提出了「扩散彩票假说」（Diffusion Lottery Tickets Hypothesis）：在dLLM的后缀token中，存在一个稀疏的「中奖彩票」子集，只要能「抽中」它们，就能在大幅降低计算成本的同时，达到甚至超越完整模型的性能。

图2 当前块对后缀token的注意力分数图。可以看到，后文token存在部分尖峰

这也是正常词元剪枝(Token Pruning)的逻辑——统计注意力分数，确定不重要的词元，然后将其删除。

然而，DPad团队并不满足于此，他们进行了一项颠覆性的实验：强行删除那些距离很远、但注意力得分很高的「尖峰」词元。

结果出乎意料——模型的准确率几乎毫无损失！

不同于自回归模型，dLLM展现出了惊人的「自愈能力」，仿佛后文词元的信息可以自由流动，当一个关键路径被阻断时，注意力会立刻转移到邻近的词元上，形成新的信息通路。

图3 「注意力迁移」现象，删除「关键词元」后，模型的注意力尖峰转移到附近词元

这个「注意力迁移」现象有力地证明：dLLM的全局规划能力并非依赖于某些特定位置的「明星词元」，而更像是一种分布式的、可替代的冗余系统。

研究人员并没有必要花费大量的计算去确定「关键词元」，直接先验地剪枝，最终保有一套系统就行。

DPad的核心

从「事后剪枝」到「事前筛选」

基于上述发现，DPad提出了一套全新的「事前筛选」逻辑。

不再让模型「全力计算后才发现浪费」，而是在计算开始前就果断地丢弃掉绝大部分冗余部分。

实现该目标的核心是两大策略：

1.滑动窗口 (Sliding Window)：将模型的「目光」强制聚焦在当前解码位置附近的一个固定长度窗口内，从根本上杜绝了对遥远未来的无效关注。

这好比作家在写当前章节时，只详细规划紧邻的几章，而不是构思最后一章的具体措辞。

2.距离衰减丢弃 (Distance-decay Dropout)：在窗口内部，也并非一视同仁。DPad采用一种随距离递减的概率来保留词元，即「越近的草稿越详细，越远的草稿越潦草」。

这两招简单而有效，共同构成了一个动态的「中奖彩票」筛选器，让模型在每一解码步都只使用一个极度稀疏但高效的注意力子集。

图4 (a)自回归模型；(b) 传统dLLM，需要关注所有后缀token；(c) DPad，仅关注附近少数经过筛选的后缀token

颠覆性的成果

速度与精确度的意外双赢

DPad带来的并非传统意义上「牺牲精度换速度」的权衡，而是一场双赢。

「严格匹配」准确率的大幅提升

在常规评测中，「灵活匹配」（Flexible-Match）只要求答案数值正确，而「严格匹配」（Strict-Match）则要求模型严格遵循范例的格式与推理步骤，是衡量模型「语境学习能力」的关键指标。

图5 「灵活匹配」得分和「严格匹配」得分。原始模型（左）没能按照「####」的格式输出答案，没能通过「严格匹配」；使用DPad（右）后模型成功「记得」按「####」输出答案，通过「严格匹配」

图6 DPad在LLaDA-Instruct上的效果

实验显示，原始的LLaDA-Instruct模型在GSM8K任务上严格匹配率仅为37.38%，因为它虽然能算对答案，却无法很好地复刻范例格式。

而应用DPad后，通过滤除大量无关后文词元的干扰，模型能更专注于学习prompt中的有效信息，严格匹配率跃升至63.84%。

这表明，DPad让模型变得更「专注」，更能领会并执行复杂指令。

图7 DPad在LLaDA-1.5上的效果

图8 DPad在Dream-Base上的效果

意料之中的惊人加速比

当模型不再需要为海量冗余信息耗费算力后，其推理速度得到了指数级解放。在短示例、长文本生成场景下，DPad的优势被发挥到极致：

图9 在GSM8K(1024 tokens, 1-shot)任务上，LLaDA-1.5+Fast-dLLM+DPad实现了61.39倍的加速

图10 在HumanEval(2048 tokens, 0-shot)任务上，Dream-Base+Fast-dLLM+DPad实现了97.32倍的加速

在LLaDA-1.5模型（1024 词元输出）上，DPad结合并行解码等优化后，实现了61.39倍的综合加速。

在Dream模型（2048 词元输出）上，这一数字更是达到了97.32倍。

总结

DPad证明，对于dLLM而言，「少即是多」。

它通过一种巧妙的、免训练的「事前筛选」机制，揭示并利用了dLLM中潜在的稀疏结构。

其带来的不仅是接近两个数量级的推理加速，更有对模型深层能力的意外增强。

这项工作为我们开辟了一条全新的优化思路：未来的模型设计或许可以更大胆地探究稀疏性，让dLLM在「化繁为简」的道路上走得更远。

参考资料：

https://arxiv.org/abs/2508.14148

相关版本

    多平台下载

    查看所有0条评论>网友评论

    发表评论

    (您的评论需要经过审核才能显示) 网友粉丝QQ群号:766969941

    查看所有0条评论>>

    相关软件
    乐鱼app下载 葡京博彩APP 188金宝搏官网下载app 凯发娱乐MXapp 金沙国际真人赌博 牛宝体育体育外围 沙巴在哪注册 98娱乐彩票官网 优博在线买球 沙巴体育体育游戏 欧洲杯在哪里赌钱 体育买球 葡京566娱乐场 天博综合官网登录 完美体态官网 M6电竞 三亿体育 博猫登录平台 手机版官方赌场 e乐彩官方app注册平台 天博平台注册登录 必威官网手机版 彩票平台app下载 龙8国际官方网页登录 188体育点击登录 手机彩票官网app 必赢亚洲手机版怎么下载 博鱼注册App 米乐体育投注m6 天美棋牌新版 电子mg官方网站 凯发娱乐客户端网页登录 明星三缺一 AG平台是真的吗 捕鱼达人千炮版官方正版秘境遗迹 beat365亚洲手机平台 大发888在线买球 足球比赛押注平台推荐 亚盈平台真实情况 皇冠官网 当日玄机精品报B 欧宝平台下载安卓版 官方网永利网址 4hu澳门皇冠 必赢亚洲首页登录app 新濠天地手机版 贝博ag 米乐在哪开户 云顶娱乐网页登录页面 赛马会高级一码图 云顶国际体育 线上赌钱官网 im电竞开户网址 炸金花玩法介绍 永利皇宫提现 北京pk10 聚彩 明升体育登录 新宝gg官方下载 365彩票平台官网网址 必威登陆首页 万博网页登录页面设置 18新利luckcom d88尊龙z6 名字叫传奇的捕鱼游戏 博鱼2022世界杯 AG贵宾会 365滚球app下载 环亚下载通道 ROR下载 银河网下载app 欢乐电玩城大厅 凯发注册app在线 必威直播视讯 澳门永利真人国际 云顶娱乐官方网站下载 明發体育 亚美体育登陆 彩神彩票新登录网址 银河官方网 大赢家体育彩票 必威betway体育官网登录 韦德官网网址 998游戏中心 188体育是365吗 永利体育在线试玩 威尼斯人pc 创世大发 10bet十博官网中文登录 威尼斯人手机官网网址 沙滩排球游戏下载 葡京注册平台 在线电玩城 九游会在哪玩 1377官网下载 伟德bet体育在线 优德开户网址 乐博手机版注册 葡京国际真人视频 太阳城登陆 伟德官网网站首页 美高梅在线试玩 乐享彩票大厅 棋牌游戏大全部 老街华纳公司 凯发娱乐手机网页版网址 威尼斯人体育注册 黄图 ayx开户网址 快3正规app 澳门金沙手机棋牌 线上代理 伟德体育app在哪下载 九游会j9娱乐平台 皇马官方网站 B体育官网app下载 澳门薪萄京娱乐官网 千亿体育国际官网 yabo体育平台 欧宝体育网页 极速彩平台
    热门网络工具
    新万博体育：我们 | 意见反馈 | 版权声明 | 合作伙伴 | 友情连接 | 联系我们 | 网站地图
    copyright 2022-2025 2265软件园.All Right Reserved