(7分钟图文详解)BCK体育鸿蒙版v74.36.28.6.81.22-2265安卓网_新万博体育

新万博体育

图片
搜索
猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

HF日趋榜一!真端到端模型AutoDeco终结手动调参解码

2025-10-30 07:57:15
来源:

猫眼电影

作者:

丁晓青

手机查看

  猫眼电影记者 埃米莉·纳皮 报道Q8X2R7L1T4J5M9B6W3

大语言模型(LLM)的「炼丹师」们,或许都曾面临一个共同的困扰:为不同任务、不同模型手动调整解码超参数(如 temperature 和 top-p)。这个过程不仅耗时耗力,而且一旦模型或任务发生变化,历史经验便瞬间失效,一切又得从头再来。

这种繁琐的试错过程,在许多研发团队的日常沟通中屡见不鲜,正如下图所展示的那样:

图 1:研发人员手动调整解码参数的日常。

一个灵魂拷问随之而来:为何不能让模型自己学会如何解码,从而实现真正的「端到端」?

事实上,各大模型厂商的 API 文档也印证了这一难题。以 DeepSeek 为例,其官方文档明确建议针对不同场景设置截然不同的 temperature 值,这使得单一的静态参数设置显得捉襟见肘。

图 2:不同任务需要不同的解码参数,这使得静态设置难以应对复杂多变的现实需求。

近日,由腾讯 AI Lab 的王琰研究员及其团队领衔,联合香港中文大学(深圳)唐晓莹教授及其博士生王志超给出了一个优雅的答案。他们推出了名为 AutoDeco 的全新架构,旨在彻底终结手动解码的「手工作坊」时代。这项研究《The End of Manual Decoding: Towards Truly End-to-End Language Models》,通过让模型动态预测并控制自身的解码参数,向着真正端到端的语言生成迈出了关键一步。

论文链接: https://huggingface.co/papers/2510.26697代码链接: https://github.com/Zacks917/AutoDeco模型链接: https://huggingface.co/collections/Jadeislaw/autodeco

图 3:AutoDeco 位居 Hugging Face Daily Papers 榜首

当前,尽管 LLM 本身已高度集成,但其生成过程的「最后一公里」—— 解码,仍然是一个独立于模型之外的、不可微的僵硬环节。研究团队形象地将其比作「手动挡变速箱」:无论引擎(LLM)多么强大,换挡(调参)依然依赖人工操作。

AutoDeco 的核心思想,就是为 LLM 装上「自动挡」。它通过在标准 Transformer 架构中引入两个超轻量的预测头,让模型在生成每一个 token 时,都能根据当前的上下文信息,动态地预测出最适合下一步生成的 temperature 和 top-p 值。其架构如下图所示:

图 4:AutoDeco(上)与传统手动解码(下)的对比。AutoDeco 将解码参数的预测无缝集成到模型的前向传播中,实现了动态自调节。

核心挑战与技术突破:如何训练一个没有「标准答案」的任务?

设想很美好,然而,一个关键的挑战摆在研究团队面前:如何训练这些预测头?在训练数据中,并不存在每一时刻「正确」的温度和 top-p 标签,这使得监督学习无从谈起。

为此,团队提出了一种创新的、完全端到端的训练策略。他们设计了一种新颖的可微分「软性 top-p」(soft top-p)机制,巧妙地替代了传统 top-p 采样中不可微的「硬截断」操作。该方法分为三步:

图 5:可微分的 soft top-p(橙色线)与传统的 hard top-p (绿色线)对比。Soft top-p 的平滑特性打通了从最终损失到解码参数预测头的梯度路径。

这一设计的巧妙之处在于,它使得从最终的「下一个词预测」损失到解码参数预测头的梯度能够顺畅回传。如此一来,模型便可以在标准的 Next Token Prediction 任务中,通过优化最终生成结果来「倒逼」自己学会如何动态调整解码策略,整个过程无需任何额外的标注数据。

AutoDeco 的惊人表现:三大亮点

通过在 Llama、Qwen、Deepseek 等多个主流模型家族上的广泛实验,AutoDeco 展现了其强大的能力:

卓越的性能与泛化能力

实验结果表明,AutoDeco 不仅稳定超越了传统的 Greedy Search 和 Default Sampling 等基线方法,其性能甚至能媲美、乃至超越了利用测试集进行精细调优的「神谕」基线(oracle-tuned baseline)。

图 6:AutoDeco 在多个数学和通用任务 benchmark 上均取得了 SOTA 性能,展现了其强大的泛化能力。

极致的效率与易用性

AutoDeco 的预测头设计极为轻量,其带来的额外推理延迟通常仅为 1.7%,内存开销也几乎可以忽略不计。对于开发者而言,接入 AutoDeco 模型仅需修改几行代码,即可享受「免费」的性能提升。

「言出法随」:开创性的自然语言控制能力

研究中最令人兴奋的发现之一,是 AutoDeco 涌现出的一种「通过自然语言控制解码」的能力。用户可以直接在 prompt 中通过自然语言下达指令,如「我希望答案更有创意」,模型便能「听懂」并自主地调高其预测的 temperature 和 top-p 值,整个过程清晰可见。

图 7:在不同指令下,AutoDeco 预测的 T/P 值变化。从左至右分别为:基线、高创造力指令(T/P 值自发升高)、高确定性指令(T/P 值自发降低)。

当然,作者坦言这种能力还不够完善,还做不到非常精准的控制。他们猜测实现细粒度、高精度的自然语言控制解码无法仅仅能通过微调 AutoDeco 模块做到,而是需要全参微调模型,这也被他们列为了 Future work 的重点。因此,作者没有放出带有自然语言控制能力的 AutoDeco heads 权重。

AutoDeco 在发布后迅速吸引全球 AI 社区的关注,在 Twitter 等社交平台上引发了顶尖学者、开发者和企业家的广泛热议和高度评价。

图 8:大模型社区对 AutoDeco 的广泛热议和高度评价。

目前,该团队已将论文、代码以及在多个主流模型上训练好的 AutoDeco heads 全面开源,包含适配于 Deepseek V3.1、Qwen3-235B、GPT-OSS-120B 等生产级大模型的版本。正如研究人员在分享中所说,这项工作旨在将研究者和开发者从繁琐的调参工作中解放出来,共同迈向一个更智能、更自动化的 AGI 新时代。

??时事1:千赢国际手机登录官网下载

??10月30日,印尼西苏门答腊强降雨已致32人死亡,

  尊敬的各位老师、各位领导:

,世界杯足彩在线购买。

??10月30日,新疆巴州若羌且末红枣节 现场收购8万余吨,

  两年来,也不知有多少强者赶来,而后又离去,更有成群的生灵死去,丢下无数的尸体。

,线上彩票正规渠道,BB视讯,2026世界杯投注柯fc3。tv。

??时事2:手机版葡京官网app下载

??10月30日,外交部:提醒中国公民避免卷入武装冲突,

  “不用写下真实的信息,可以随便写一些,比如说最喜欢的、最爱的。”那个好心的少女提醒。

,庄家补牌规则对照表,金沙银河官方网,必威苹果客户端下载不了。

??10月30日,郑州力争144小时过境免签政策落地,

  新的一年开始,又到了我们总结过去,展望未来的时候。过去的20~~年里,在全体员工的共同努力下,公司各方面工作均取得了满意的成效,各部门整合更新,相互协作,使得各项经营指标基本得以实现。

,澳门九五至尊网投网站,万赢体育,2026篮球世界杯投注站。

??时事3:英亚体育平台怎么样

??10月30日,以数字技术赋能“两个文明”协调发展,

  云层上一头巨鸟俯冲而下,鳞片寒光闪烁,青鳞鹰出现,抓着一只巨大的火犀,轰隆一声丢在了村外。它每隔一段时间就会送来一头庞大的猎物。

,利澳彩票平台官网,国际跳棋真人,美高梅网投总站。

??10月30日,【两会30秒】孙业礼:“冰天雪地”正在变成“金山银山”,

  “虎婶,它不是猴子,是朱厌。”小不点纠正,并且揪住金色圆球的尾巴,将它倒提了起来。

,彩票网快乐十分,世界杯视频网站转播权,开元体育app官方版最。

??时事4:视讯真人游戏网址

??10月30日,首位中国音乐家登上古巴国际爵士音乐节献上多首唢呐经典,

  3、还有就是要关心孩子的发展方向。有的家长会说,我的孩子成绩一直优异,很让我放心。大有自己没用武之地,高枕无忧的姿态。其实,对那些成绩好的孩子,老师和家长都要树立起全面培养孩子的观念,要明白学习成绩好是孩子成长中的一部分,还有思想道德、身体健康、心理素质、礼节礼貌、劳动观念、专业技术、自我控制能力、组织才能等,所以,家长不能只看到学习成绩而不管其它,家长应该全面地培养孩子。比如、让孩子有多一点时间学习实践,提高办事能力;让孩子学习一点组织策划知识,掌握一点领导技能等,不要一叶障目,不见其它。像我们班的汤婷同学一直成绩优异,读书、作业不用人喊,自觉、专心、认真,但是她一心忙着自己的学习,对班上其他的事情不是很热心,对劳动也不是很积极。发现了这点后,我们除了在学习上继续严格要求她以外,在其他方面也多给她锻炼的机会,现在她担任我们班的语文课代表和班长,就得到了很好的锻炼,得到了全面的培养,这对她终身都是有益的。

,开奖爆料(新图推荐),必发365电子游戏网址,百家乐在哪玩。

??10月30日,中国财政部:利比里亚共和国籍应税船舶适用船舶吨税优惠税率,

  这个形似猴子的生灵,突然浑身金光大盛,通体龟裂,传来阵阵喀嚓声,所有老皮都脱落了下来,露出真身。

,ag导航,亚博下载,三张牌官方下载。

责编:阿纳托利·库切林纳

审核:许林坤

责编:约瑟夫·施特劳斯

相关推荐 换一换