(5分钟完整评测)世界杯体彩购买技巧最新版v87.40.75.93.30.558.67-2265安卓网_新万博体育

新万博体育

图片
搜索
猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

HF日趋榜一!真端到端模型AutoDeco终结手动调参解码

2025-10-29 18:32:20
来源:

猫眼电影

作者:

碧婷

手机查看

  猫眼电影记者 陈家强 报道Q8X2R7L1T4J5M9B6W3

大语言模型(LLM)的「炼丹师」们,或许都曾面临一个共同的困扰:为不同任务、不同模型手动调整解码超参数(如 temperature 和 top-p)。这个过程不仅耗时耗力,而且一旦模型或任务发生变化,历史经验便瞬间失效,一切又得从头再来。

这种繁琐的试错过程,在许多研发团队的日常沟通中屡见不鲜,正如下图所展示的那样:

图 1:研发人员手动调整解码参数的日常。

一个灵魂拷问随之而来:为何不能让模型自己学会如何解码,从而实现真正的「端到端」?

事实上,各大模型厂商的 API 文档也印证了这一难题。以 DeepSeek 为例,其官方文档明确建议针对不同场景设置截然不同的 temperature 值,这使得单一的静态参数设置显得捉襟见肘。

图 2:不同任务需要不同的解码参数,这使得静态设置难以应对复杂多变的现实需求。

近日,由腾讯 AI Lab 的王琰研究员及其团队领衔,联合香港中文大学(深圳)唐晓莹教授及其博士生王志超给出了一个优雅的答案。他们推出了名为 AutoDeco 的全新架构,旨在彻底终结手动解码的「手工作坊」时代。这项研究《The End of Manual Decoding: Towards Truly End-to-End Language Models》,通过让模型动态预测并控制自身的解码参数,向着真正端到端的语言生成迈出了关键一步。

论文链接: https://huggingface.co/papers/2510.26697代码链接: https://github.com/Zacks917/AutoDeco模型链接: https://huggingface.co/collections/Jadeislaw/autodeco

图 3:AutoDeco 位居 Hugging Face Daily Papers 榜首

当前,尽管 LLM 本身已高度集成,但其生成过程的「最后一公里」—— 解码,仍然是一个独立于模型之外的、不可微的僵硬环节。研究团队形象地将其比作「手动挡变速箱」:无论引擎(LLM)多么强大,换挡(调参)依然依赖人工操作。

AutoDeco 的核心思想,就是为 LLM 装上「自动挡」。它通过在标准 Transformer 架构中引入两个超轻量的预测头,让模型在生成每一个 token 时,都能根据当前的上下文信息,动态地预测出最适合下一步生成的 temperature 和 top-p 值。其架构如下图所示:

图 4:AutoDeco(上)与传统手动解码(下)的对比。AutoDeco 将解码参数的预测无缝集成到模型的前向传播中,实现了动态自调节。

核心挑战与技术突破:如何训练一个没有「标准答案」的任务?

设想很美好,然而,一个关键的挑战摆在研究团队面前:如何训练这些预测头?在训练数据中,并不存在每一时刻「正确」的温度和 top-p 标签,这使得监督学习无从谈起。

为此,团队提出了一种创新的、完全端到端的训练策略。他们设计了一种新颖的可微分「软性 top-p」(soft top-p)机制,巧妙地替代了传统 top-p 采样中不可微的「硬截断」操作。该方法分为三步:

图 5:可微分的 soft top-p(橙色线)与传统的 hard top-p (绿色线)对比。Soft top-p 的平滑特性打通了从最终损失到解码参数预测头的梯度路径。

这一设计的巧妙之处在于,它使得从最终的「下一个词预测」损失到解码参数预测头的梯度能够顺畅回传。如此一来,模型便可以在标准的 Next Token Prediction 任务中,通过优化最终生成结果来「倒逼」自己学会如何动态调整解码策略,整个过程无需任何额外的标注数据。

AutoDeco 的惊人表现:三大亮点

通过在 Llama、Qwen、Deepseek 等多个主流模型家族上的广泛实验,AutoDeco 展现了其强大的能力:

卓越的性能与泛化能力

实验结果表明,AutoDeco 不仅稳定超越了传统的 Greedy Search 和 Default Sampling 等基线方法,其性能甚至能媲美、乃至超越了利用测试集进行精细调优的「神谕」基线(oracle-tuned baseline)。

图 6:AutoDeco 在多个数学和通用任务 benchmark 上均取得了 SOTA 性能,展现了其强大的泛化能力。

极致的效率与易用性

AutoDeco 的预测头设计极为轻量,其带来的额外推理延迟通常仅为 1.7%,内存开销也几乎可以忽略不计。对于开发者而言,接入 AutoDeco 模型仅需修改几行代码,即可享受「免费」的性能提升。

「言出法随」:开创性的自然语言控制能力

研究中最令人兴奋的发现之一,是 AutoDeco 涌现出的一种「通过自然语言控制解码」的能力。用户可以直接在 prompt 中通过自然语言下达指令,如「我希望答案更有创意」,模型便能「听懂」并自主地调高其预测的 temperature 和 top-p 值,整个过程清晰可见。

图 7:在不同指令下,AutoDeco 预测的 T/P 值变化。从左至右分别为:基线、高创造力指令(T/P 值自发升高)、高确定性指令(T/P 值自发降低)。

当然,作者坦言这种能力还不够完善,还做不到非常精准的控制。他们猜测实现细粒度、高精度的自然语言控制解码无法仅仅能通过微调 AutoDeco 模块做到,而是需要全参微调模型,这也被他们列为了 Future work 的重点。因此,作者没有放出带有自然语言控制能力的 AutoDeco heads 权重。

AutoDeco 在发布后迅速吸引全球 AI 社区的关注,在 Twitter 等社交平台上引发了顶尖学者、开发者和企业家的广泛热议和高度评价。

图 8:大模型社区对 AutoDeco 的广泛热议和高度评价。

目前,该团队已将论文、代码以及在多个主流模型上训练好的 AutoDeco heads 全面开源,包含适配于 Deepseek V3.1、Qwen3-235B、GPT-OSS-120B 等生产级大模型的版本。正如研究人员在分享中所说,这项工作旨在将研究者和开发者从繁琐的调参工作中解放出来,共同迈向一个更智能、更自动化的 AGI 新时代。

??时事1:澳门最新游戏

??10月29日,“新三样”出口首破万亿,释放出怎样的信号?,

  我的演讲完了,多谢大家!

,一定发最新地址。

??10月29日,为什么说铸牢中华民族共同体意识是对西方民族理论的全面超越,

  “这……”狈村的人全都皱眉,狩猎队伍中的头领道:“我们在这里赔礼道歉,并将所有猎物都给你们如何?”

,大宝娱乐lG,半岛官方体育网页入口,威尼斯5139手机版。

??时事2:银河电子游艺网址

??10月29日,2024丝路画语艺术展在贝尔格莱德中国文化中心开幕,

  每年的初三毕业我都要讲成绩,讲成绩一方面是自我激励,另一方面是要自我宣传,你不讲别人怎么会知道呢?酒好还得勤吆喝。然而,经过几年的努力,我们用连续的业绩数次证明了三十五中学的优秀,证明了三十五中学的崛起。去年大连日报以《我市东部城区正在崛起的一所优质资源学校》为题,以较大的幅报道了我校全面提升的教育教学质量,并将之归纳为三十五中学现象。今年我校的中考更是取得了历史性的突破,完全可以说是再上高峰创造辉煌。因此在这个时间节点,我想暂时抛开成绩,和大家一起来谈谈我心目中的所谓成功。我想每个家庭都有不同的成功标准,也都渴望自己的孩子能够成人、成才、成功。什么叫成功?考上24、育明、8中就是成功吗?上了一本重点大学就是成功吗?有财富有地位就叫成功吗?我看未尽然。在我看来,成功是有资本而且有权利去选择做自己喜欢的事,成功是有条件而且有闲暇过着无需担忧的生活,成功是有健康也有能力为家人甚至是社会创造财富。成功的基础是身心健康的同时对社会有所贡献。退一步来说,即便将来你不能大富大贵,但只要你是健康的;即便日后你不能反哺父母,但只要你能够自食其力;即便你对这个社会贡献很小,但至少不是负担;即便你不能够成为这个社会的栋梁和精英,但你还算具备了做人最起码的品德。如果这些你都做到了,那么你也可以算得上是成功的,你做到这些,就是对自己父母最大的孝。

,im电竞官方网站,ope体育安卓端g,名豪俱乐部怎么样。

??10月29日,热浪来袭很危险!这些“高温病”如何预防?,

  一声长鸣,一头巨大的凶禽展翅,拍散了云朵,带领密密麻麻的凶禽冲向一个人口数十万的大部落。

,MG真人快速注册,99游戏网,手机网赌网址。

??时事3:各大赌城官网app

??10月29日,预计将达90亿人次 春运里的中国充满生机和活力,

  ③ 20年,公司投资购置、新建了一批生产设备,已全部投入运行,增强了企业核心竞争力。

,9号彩票,大众彩票平台官网,天博下载软件怎么下载。

??10月29日,黄河水利委员会启动干旱防御Ⅳ级应急响应 ,

  “年龄这么小啊,难怪什么都不懂,竟妄想破坏通往外界的道路,挖走符骨。”

,银河官方网,bbinapp链接,申博网投。

??时事4:2020edf壴定发娱乐官网

??10月29日,中新健康丨专家提示:高温持续 心梗防范不容忽视,

  三十米长的赤红牛魔震怒,满身火光滔天,离火在燃烧,它人立而起,张口巨口,喷出炽盛霞光,将那石峰都燃成了岩浆,席卷十方。

,澳门金沙游戏官网,极速彩哪个平台可以玩八码,美狮贵宾会手机版。

??10月29日,全国首部中国通用手语情景剧教学片赠予十五运会和残特奥会广州赛区执委会,

  事实证明,皇庭也正朝着职业化、标准化、规范化的“轨迹”稳健向前迈进。我们彼此感恩,彼此相互支持、鼓励、关爱与包容。过去的终究过去了,我们无法挽留;明天充满着变数,我们捉摸不定;我们唯一能把控的只有今天、当下。活在当下,让生命每时每刻都焕发青春活力;活在当下,让整个团队都因为有我而充满积极的正能量。活在当下是一种处世的原则和生活的态度,每个人当下的工作态度决定了整个团队工作氛围能否向积极的方向发展。有一句话说得好,要想今生无悔,就得当下无悔!一个人的思想觉悟和工作的自觉性源于他对整个团队的认同有多少?

,HB火博体育,M6米乐官方平台登录,欧博注册送18。

责编:滕海滨

审核:穆鲁

责编:许嵩

相关推荐 换一换