pg电子游戏试玩版,独特的视觉设计与流畅的操作体验,让人爱不释手_新万博体育

新万博体育

图片
搜索
猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

混元OCR模型核心技术揭秘:统一框架、真端到端

2025-11-27 05:55:24
来源:

猫眼电影

作者:

王冬才

手机查看

  猫眼电影记者 王岩瑸 报道Q8X2R7L1T4J5M9B6W3

HunyuanOCR模型团队 投稿量子位 | 公众号 QbitAI

腾讯混元大模型团队正式发布并开源HunyuanOCR模型!

这是一款商业级、开源且轻量(1B参数)

的OCR专用视觉语言模型,模型采用原生ViT和轻量LLM结合的架构。

具体而言,其感知能力(文本检测和识别、复杂文档解析)优于所有公开方案;语义能力(信息抽取、文字图像翻译)表现出色,荣获ICDAR 2025 DIMT挑战赛(小模型赛道)冠军,并在OCRBench上取得3B以下模型SOTA成绩。

目前,该模型在抱抱脸(Hugging Face)趋势榜排名前四,GitHub标星超过700,并在Day 0被vllm官方团队接入。

团队介绍,混元OCR专家模型实现了三大突破:

(1)全能与高效统一。

在轻量框架下支持文字检测和识别、复杂文档解析、开放字段信息抽取、视觉问答和拍照图像翻译,解决了传统专家模型功能单一和通用视觉理解大模型效率低下的痛点。

(2)极简端到端架构。

摒弃版面分析等前处理依赖,彻底解决流水线错误累积问题,大幅简化部署。

(3)数据驱动与RL创新。

验证了高质量数据价值,并证明强化学习可显著提升多项OCR任务性能。

目前模型参数已在抱抱脸和ModelScope等渠道开源,并提供基于vLLM的高性能部署方案,旨在助力科研与工业落地。

HunyuanOCR核心技术大揭秘

作为一款具备商业级性能的开源多语言VLM,混元OCR专家模型的核心动机在于构建一个真正统一、高效的端到端OCR基础模型。

其核心技术主要聚焦于以下几个方面:

轻量化模型结构设计、高质量预训练数据生产、重应用导向的预训练策略和OCR任务定制的强化学习。

轻量化模型结构设计

下图为HunyuanOCR架构示意图。

不同于其他开源的级联OCR方案或专家模型,混元OCR模型贯彻端到端训推一体范式,各项任务仅需单次推理即可获取完整效果。

HunyuanOCR采用由原生分辨率视觉编码器、自适应MLP连接器和轻量级语言模型构成的协同架构。

视觉部分基于SigLIP-v2-400M,引入自适应Patching机制支持任意分辨率输入,有效避免了长文档等极端长宽比场景下的图像失真与细节丢失。

连接器通过可学习的池化操作充当桥梁,在自适应压缩高分辨率特征的同时,精准保留了文本密集区的关键语义。

语言模型侧则基于Hunyuan-0.5B,通过引入创新的XD-RoPE技术,将一维文本、二维版面(高宽)及三维时空信息进行解耦与对齐,赋予了模型处理多栏排版及跨页逻辑推理的强大能力。

与依赖多模型级联或后处理的传统方案不同,HunyuanOCR采用了纯粹的端到端训练与推理范式。

该模型通过大规模高质量的应用导向数据进行驱动,并结合强化学习策略进行优化,实现了从图像到文本的直接映射。这种设计彻底消除了传统架构中常见的“错误累积”问题,并摆脱了对复杂后处理模块的依赖,从而在混合版面理解等高难度场景中展现出远超同类模型的鲁棒性与稳定性。

高质量预训练数据生产

为了系统性提升HunyuanOCR在多语言、多场景及复杂版面下的感知与理解能力,研究团队构建了一个包含超2亿“图像-文本对”的大规模高质量多模态训练语料库。

通过整合公开基准、网络爬取真实数据及自研工具生成的合成数据,该数据库覆盖了9大核心真实场景(包括文档、街景、广告、手写体、截屏、票据卡证、游戏界面、视频帧及艺术字体)以及超过130种语言的OCR数据。

这套完整的数据生产与清洗流水线,为模型提供了坚实的高质量多模态训练资源,具体揭示如下:

(注:图为高质量预训练数据,(a)(b)(c)展示了数据合成和仿真增强的效果,(d)(e)展示自动化QA数据生产的案例)

在数据合成方面,研究人员基于SynthDog框架进行了深度扩展,实现了对130多种语言的段落级长文档渲染及双向文本(从左到右和从右到左两种阅读顺序)支持,并能精细控制字体、颜色、混合排版及手写风格,有效提升了跨语言泛化能力。

同时,引入自研的Warping变形合成流水线,通过模拟几何变形(折叠、透视)、成像退化(模糊、噪声)及复杂光照干扰,逼真还原自然场景下的拍摄缺陷。

这种“合成+仿真”的策略显著增强了模型在文本定位、文档解析等任务中的鲁棒性。

针对高阶语义理解任务,团队开发了一套集“难例挖掘、指令式QA生成与一致性校验”于一体的自动化流水线。

遵循“一源多用”原则,该流水线实现了对同一图像进行文本定位、结构化解析(Markdown/JSON)及多维推理问答(信息抽取、摘要、计算)的统一标注。系统优先挖掘低清晰度或含复杂图表的难例,利用高性能VLM生成多样化问答对,并通过多模型交叉验证机制确保数据质量。

这一流程有效解决了复杂场景下高质量VLM训练数据稀缺的问题,大幅提升了模型的数据利用效率。

重应用导向的预训练策略

HunyuanOCR采用循序渐进的四阶段预训练策略:

前两阶段聚焦视觉&语言对齐与通用理解能力构建。

其中Stage-1为热身阶段,冻结LLM并仅训练ViT与MLP适配器,通过Caption和OCR数据实现视觉特征与文本语义空间的对齐,强化基础感知与结构化理解。

Stage-2解冻所有参数进行端到端学习,依托约300Btoken数据及涵盖文档解析、文字检测和识别、图片翻译、VQA的多任务合成样本,深度增强模型对文档、表格、公式、图表等复杂结构化内容的感知和理解能力。

后两阶段则侧重长文档处理能力与实际应用场景适配。

Stage-3将上下文窗口扩展至32k,通过长窗口数据训练满足长文档图像解析与理解需求。

Stage-4开展应用导向的退火训练,结合精心筛选的人工标注真值数据与高质量合成数据,通过统一指令模版与标准化输出格式规范模型响应模式,既提升了复杂场景下的鲁棒性,也为后续强化学习阶段奠定了坚实基础。

下面的表格展示了混元OCR模型四阶段预训练:

OCR任务定制的强化学习方案

尽管强化学习已在大型推理模型中取得显著成功,Hunyuan视觉团队创新性地将其应用于注重效率的轻量级OCR专家模型。

针对OCR任务结构化强且易于验证的特点,采取了混合策略:

对于文字检测识别和文档解析等具有封闭解的任务,采用基于可验证奖励的强化学习。

而对于翻译和VQA等开放式任务,则设计了基于LLM-as-a-judge的奖励机制。这种结合证明了轻量级模型也能通过RL获得显著性能跃升,为边缘侧和移动端的高性能应用开辟了新路径。

以下是三个主要注意事项:

第一,严苛的数据筛选。

数据构建严格遵循质量、多样性与难度平衡原则,利用LLM过滤低质数据,并剔除过于简单或无法求解的样本以保持训练的有效性。

第二,自适应奖励设计。

文字检测和识别任务上,综合考虑IoU与编辑距离。

复杂文档解析任务聚焦于结构与内容的准确性;VQA采用基于语义匹配的二值奖励;而文本图像翻译则引入经过去偏归一化的软奖励(例如0~5的连续空间),特意扩展了中段分数的粒度,以便更敏锐地捕捉翻译质量的细微差异。

第三,GRPO算法与格式约束优化。

训练阶段采用群组相对策略优化(GRPO)作为核心算法,为了确保训练的稳定性,团队引入了严格的长度约束与格式规范机制,任何超长或不符合预定义Schema(如结构化解析格式)的输出将直接被判为零奖励。

这一强约束机制迫使模型专注于生成有效、规范且可验证的输出,从而在受限条件下习得精准的推理与格式化能力。

项目主页:

https://hunyuan.tencent.com/vision/zh?tabIndex=0

Github:

GitHub-Tencent-Hunyuan/HunyuanOCR

抱抱脸:

https://huggingface.co/tencent/HunyuanOCR

论文:

https://arxiv.org/abs/2511.19575

??时事1:棋牌游戏直营

??11月27日,司法部:进一步丰富立法形式,探索建立立法快速响应机制,

  几个孩子被惊的倒退,而后一屁股坐在了地上,连忙用双手掩住耳朵进行保护,不然耳膜都可能被震裂。

,世界杯让球网站。

??11月27日,纪录电影《康熙与路易十四》进校园 激发学子影视创作欲望,

  很长时间后,那团紫色霞光才敛去,这只灵性惊人的幼鸟浑身覆盖灿灿紫鳞,水灵灵的大眼像是会说话般,好奇的看着众人,任谁一看就知道,这是一头很不一般的灵禽。

,乐虎国际平台登录,188体育体育下载,yabo22vip快速开户。

??时事2:必博体育官网

??11月27日,西藏各地开足马力打好农业生产“第一仗”,

  2、必须要有组织并在老师或熟习水性的人的带领下去游泳。以便相互照顾。假如集体组织外出游泳,下水前后都要盘点人数、并指定救生员做安全保护。

,韦德国际官方网站,世界杯app买球下载,亚星登录平台。

??11月27日,“活跃家庭·和谐健康”体育科普中国行走进浙江舟山,

  2、冬季锻炼要注意预防感冒。冬季天气比较冷,锻炼着装要合理,锻炼后要做适当的整理活动,及时穿衣保暖,以防感冒。

,6up是啥意思,斗牛什么情况可以抢庄,千亿国际旧版本。

??时事3:环球注册送18

??11月27日,肯尼亚内阁首席部长兼外长穆达瓦迪将访华,

  本届邻居节,将以“邻居节的五日,即芳邻日,互助日,健康日,娱乐日,  日”为中心,以“深化和谐社区建设、促进邻里友爱团结、喜迎奥运、弘扬爱国主义精神”为目标,以健康、文明、积极向上的系列活动,展示我社区三个文明建设的丰硕成果和全社区邻里和睦、居民友爱、安居乐业的勃勃生机。

,闲和庄,伟德官网手机版,188金宝搏官网苹果下载。

??11月27日,4月22日人民币对美元中间价报7.1043元 上调3个基点,

  他的拳风是黑色的,发出噼啪之声,那是雷电在交织,最终化成一片黑色的电芒,密密麻麻,降落而下。

,世界杯倍投注,欢乐斗地主竞技,森林王国电玩。

??时事4:篮球世界杯买球怎么买

??11月27日,乙醇生产新技术背后有何大文章,

  当前,国家的金融政策是支持县域经济和中小企业(特别是小微企业)的发展。对我们来讲,推动全区工业经济转型升级是实现全区经济社会跨越式发展的关键,只有支持了工业经济,才能更有力地促进地方经济的发展。下一步,我们将进一步转变经营理念,明确信贷重点,加大投放力度,更好地服务工业经济的发展。一是要切实转变经营理念。要不断强化市场意识,正确处理好存与贷的关系,既要树立“存款立行”的发展观念,更要树立“贷款兴行”的经营理念,努力克服不符合市场经济规律的“零风险”信贷意识,把做活、做好信贷资金作为增强自身盈利能力的主攻方向,找准风险与收益的最佳切入点,千方百计地扩大对企业的信贷投入,慎贷而不惜贷。二是要积极转变工作作风。要主动深入企业服务,变被动接受贷款申请为主动寻找优质客户对象,变坐等业务为深入企业一线设点跟踪服务,主动为企业提供国家金融政策、金融形势、贷款程序、金融产品等方面的信息咨询服务,积极帮助企业进行经济分析、市场预测,参与企业重点项目论证。对市场前景好、投资回报率高的项目建设,积极为企业提供信贷支持,同时加大对优质客户的信贷支持力度,对企业有效的资金需求要主动帮助解决,建立一支稳定的信贷客户群,实现业务的不断发展。三是要逐步丰富金融产品。目前,我行支持中小企业的信贷产品主要有:企业联保贷款、抵押贷款、信用贷款、银行承兑汇票等。下一步,我们将马上开通“网上银行”业务,为客户提供更加便捷的结算渠道,进一步方便企业的财务管理。此外,我行还将尽快推出创业卡业务,这是一种专门为小微企业量身定制的新产品,创业卡主要面向优质个体工商户和小企业经营主等中高端个人客户,具有普通借记卡结算和个人循环贷款两大功能,授信额度在30万元至100万元之间,持卡人在获得授信后,就可以通过网点柜面、网上银行和自助设备等办理贷款、还款业务。同时,它具有“一次授信、循环使用、自助放款、担保灵活”的优势,对于正准备创业或处于事业成长期的客户来说,它能够最大限度地满足小微企业及时灵活、方便快捷的信贷服务需求。四是要打造一家科技支行。我行将在服务好“三农”的基础上,有重点的支持开发区的工业发展,今年,我行拟将在南城开发区设立科技支行,这也是全省第二家的科技支行,专注服务园区内的科技型中小企业。目前,我行已与市科技局进行了充分的对接,达成了初步合作意向,由市科技局牵头组建科技担保公司,通过科技财政的引导作用,与我行信贷资金捆绑共同来扶持初创型、成长型、科技型的中小企业,对于市政府认定的市级以上的科技型企业,我们将按照基准利率来提供信贷支持,帮助企业做大做强,促进园区工业经济的发展。

,快打三,欧洲杯2020投注,明博体育客户端。

??11月27日,国家防总针对京津冀晋启动防汛四级应急响应 ,

  “这是……至宝啊!”老族长声音发抖,祖传药鼎竟然这般非凡。

,am8亚美平台,澳门威尼斯人注册游戏,正规公平公正真人对战棋牌。

责编:程磊聂

审核:王登峰

责编:曹燕华

相关推荐 换一换