新万博体育

　　猫眼电影记者 白殿文 报道Q8X2R7L1T4J5M9B6W3

文 | X研究媛

DeepSeek OCR是一个不错的OCR小模型，但过誉了。

知乎网友指出，即使横向对比OCR最优秀的几个模型，它也不是最靠前的那个。

在下面两个案例里，3B大小（30亿参数）的DeepSeek OCR在数学公式展开里没有识别出“极坐标”，识别表格结构也是错的。相比之下，仅仅有0.9B（9亿参数）模型尺寸的PaddleOCR-VL（来自百度飞浆开源）却更胜一筹。

DeepSeek OCR也并非足够独创。外界猜测，谷歌Gemini 支持百万Token上下文可能早早使用了视觉压缩Token，同一天清华大学和智谱团队发布的、几乎同样思路「将长文本压缩为视觉Token作为模型输入」的Glyph，后者似乎没引发任何的「延伸解读」。

DeepSeek每一次出手都能虹吸巨大的关注。但仔细想想，也正常。

在中国做大了的互联网巨头，垄断了某个赚钱赛道后还怀揣着人类未来福祉去探索前沿技术的，几乎找不出一个范例。DeepSeek被美国同行形容为「实力深不可测」，其内禀的价值观、组织形态更是中国企业里罕见的异类。

梁文峰掌下的DeepSeek不怎么缺钱，浑身外溢着极致浪漫的技术理想主义。开源最前沿最有价值的模型训练细节，V3和R1引发全球轰动后几乎主动放弃巨大流量，也不去模仿OpenAI构建唾手可得的AI商业帝国...那种不按正常路径去「做大做强」，活在未来而非当下，一行一言去追逐高度不确定的AGI。在一个跟风、内卷、抄袭、金钱至上的中国，能诞生这样的公司，属实是“国运”。

外行看热闹，内行看Paper。言归正传，DeepSeek OCR的深层价值不是什么「真·无限上下文」，或者在各项评测集、各个大模型竞技场刷新了OCR模型的某个记录，而是探索「连续视觉表征压缩」在隐隐指向一个终极追求——「世界模型」。

Karpathy 评价里想说却未明说的：把大模型的前沿焦点从离散的语言Token，「重新转向」了连续视觉表征的视觉Token。

压缩即智能

如果把大脑看作一台生物计算机，Ilya说我们终将突破。人类思维最幽暗深微之处，也许出奇地「大道至简」。

Ilya有个信念，「如果你能高效压缩信息，你一定已经得到知识，不然你没法压缩信息。当你实现了信息高效压缩，you got to have some knowledge」。

压缩通过识别模式和规律高效表征信息，这与智能行为密切相关。有相当一部分研究人员认为，压缩可能是通用智能的基础，甚至可能等同于智能，Ilya所坚信的「压缩即智能」。

Ilya可能只说对了一半。相比语言这种一维的离散信息，语言的成功压缩诞生了轰动世界的ChatGPT。而视觉作为更高维的连续信息，端到端的压缩和统一表征提取，却异常困难。

如今强大无比的各类预训练大语言模型，它们在底层原理上高度统一：使用互联网上庞大语料训练出超大规模神经网络，它可以看作一大堆参数，当用户输入时，将激活固定的网络节点参数参与计算，从而「预测最大概率的输出Token」。具体过程中，用户的输入文本会被Tokenization固定划分的词和符号（即分词过程）转化为向量，这些输入向量会在超高维的向量空间去做模式匹配，即以激活的神经网络参数参与计算，计算出最高概率的下一个词。

LLM用大白话解释，就是根据模型参数和上下文去才猜下一个词。回顾大语言模型的发展，通用算法的发现，Transformer架构让Scaling变得真正可行，简单算法、超大数据、GPGPU算力的暴涨三者合力，成功地压缩互联网上几乎所有的文本资料，打造出一台非常智能的「Token预测器」。

LLM的输出是「Token by Token」，自回归方式，意味着每一个Token都要跟前文“交互”一次。输入十万个Token，模型就要进行十万·十万的百亿次“交互”计算。输入越长的上下文，预测下一个词就需要指数级的计算增长。

再大的显存带宽和显存容量，也无法一次吃掉计算过程中天量的中间矩阵，推理延迟会越来越大。LLM近年的创新，比如注意力层计算的稀疏和优化，诞生了MTP、NSA、DSA，还有稠密FFN层的稀疏激活，以及超大规模MoE专家网络的路由激活，本质都是在解决计算层面的问题。

以DeepSeek为例，除了R1以开源模型首次公开了预训练+后训练强化学习方法，复现了O1 推理思维链的效果引发轰动，其它几乎所有的创新都集中在改进注意力机制、激活参数计算和推理解码的高效，以及训练时如何降低硬件开销和提升数据通信可靠性。

DeepSeek OCR表面上是一个OCR模型，实际也是指向计算效率，尝试实现模型输入过长上下文的高效压缩。

DeepSeek OCR的核心是DeepEncoder，一个用vision tokens去Encode输入上下文信息的编码器，它实现了 9–10倍 文本压缩下 96%+ 的 OCR 解码精度，10–12倍压缩下约 90%的精度，20倍压缩下仍保持约 60% 的精度。

在压缩比10倍的时候，几乎可以做到无损。这意味着原来输入十万Token的模型上下文，视觉编码仅需一万Token。

而且，DeepSeek论文说我们可以连续调节压缩率，在压缩率和识别精度之间平滑地做出权衡。关键来了，DeepSeek将这种动态的视觉压缩还与人类的记忆遗忘做了类比。

DeepSeek提出一种类生物遗忘机制的压缩策略：

- 近期上下文：保持高分辨率，token 消耗高，信息清晰；

- 远期上下文：逐步降低分辨率，token 减少，信息模糊；

- 这种机制模拟人类记忆的自然衰减：

时间越久，记忆越模糊；

距离越远，视觉感知越弱；

两者都表现出渐进式信息丢失的模式（如图所示）

在论文里，DeepSeek 解释 OCR 的工作代表了对视觉-文本压缩边界的初步探索，研究了解码 N 个文本 token 需要多少个视觉 token这一核心问题。初步结果令人鼓舞：

光学上下文压缩不仅是技术可行的，更是生物学合理的。它为长上下文建模提供了全新视角。 DeepSeek相信，这一方向将成为未来 LLM 与 VLM 研究的重要突破口。

DeepSeek-OCR 在 约 10× 压缩比 下实现了接近无损的 OCR 压缩，在 20× 压缩比下，仍能保持 60% 的准确率，这些发现意味着：在多轮对话中，对超过 k 轮的历史记录进行光学处理，实现 10× 压缩效率；对旧上下文逐步缩小渲染图像，进一步减少 token 消耗； 模拟人类记忆的遗忘机制，越久远的内容，压缩率越高，图像越模糊，信息逐渐丢失。

在论文里，DeepSeek强调，光学上下文压缩仍然是一个刚刚起步、充满潜力的研究方向。DeepSeek-OCR 不仅仅是一个常用的优秀OCR工具，本身是一个极具实用价值的模型，具备大规模预训练数据生产能力，可作为 LLM 训练过程中不可或缺的助手。在实际应用中，该模型每天可生成数千万页级别的训练数据，显著提升了多模态数据构建的效率。

世界模型的「轮廓」

人脑若以“生物计算机”视角观察，可以粗略概括为：它以多模态、某种统一表征进行极为高效的信息压缩，实现对现实世界建模和预测。

LLM则是“通过语言单一模态对现实世界建模和预测”。

如果大语言模型能够导向AGI，等同于人类是通过语言理解一切，通过语言就可以建模世界？但这其中有一个明显Bug，人类并没有LLM Tokenization 这种「后天而非先验」的分词器，Karpathy形容Tokenization的过程是丑陋且笨拙。

用户的文本输入变成AI“可读”的内容，是通过一个叫“Tokenizer”（分词器）的东西，把句子切成一个个“词元”（Token），比如“Hello, world!”可能被切成 [Hello]、[,]、[world]、[!]，四个词元。分词的标准并不是统一的，不同的词表和分词器也意味着各家模型不同的Tokenization方法，它对模型的最终性能有一定影响。

LLM文本输入转化为Token的分词过程是不是必不可少的？ 而DeepSeek-OCR这篇论文无意中提供了一个佐证：它证明了，AI可以只用100个“视觉词元”（Vision Tokens），就高精度地“解压缩”出包含1000个“文本词元”的原文内容。而且不需要文本分词这个过程。

语言深度依赖视觉经验和多模态基础，文字本身是对感知世界的二次抽象。为什么我们的AI系统，要绕过更原始、更丰富的表征层？当模型直接在像素层面理解文字，它看到的不只是语言，而是习得了更加丰富、更加深层的学习机制。

就像前文所说，相比语言这样的一维离散信息，更高维且连续的视觉信息，端到端的信息压缩、统一表征提取和预测，困难且毫无进展。

三句不离世界模型的Yan LeCun，曾在公开访谈中谈及连续视觉信息的处理有多么困难：

“一个典型的大语言模型大约是在200亿到2万亿个Token上训练的。Token差不多就是一个词。通常，一个Token用三个字节表示，200亿到2万亿个Token，总共大约是10的14次方字节，也就是1后面跟着14个零。这几乎是互联网上所有公开文本的总和。

一个人要花几十万年才能读完这些材料，这是海量的信息。现在，我们来比较一下这个数据量：一个四岁的孩子总共清醒了 16000 个小时。每秒大约有 2 M字节信息通过我们的视神经进入我们的视觉皮层。每秒 2 M字节，在四年内，通过视觉输入大约是 10 的 14 次方字节的数据。四岁孩子”看到“的数据量与需要你 40 万年才能阅读的文本一样多。

这表明，仅仅依靠文本训练，我们永远无法实现接近人类水平的AI。我们必须学会让AI理解真实世界，而这非常困难。如果我们不用单词，而是用视频中的帧，将这些帧转换成类似于单词的Token，然后尝试训练系统预测视频中将要发生的事情，这是行不通的。

我们可能无法预测某个特定单词会出现在文本的哪个位置，但我们可以预测所有可能单词的概率分布。对于视频，我们做不到这一点。我们无法表示所有可能的视频帧的概率分布。因此，那些在文本、DNA序列或蛋白质上非常有效的技术，在视频或其他自然信号上却不起作用。”

回过头来看，DeepSeek-OCR这篇论文的真正价值，不在于它提供了一个多好的OCR工具，而在于它充当了一次“概念验证”（Proof-of-Concept）。它用实验数据证明了：AI的主要信息入口，可以从语言转向视觉，不仅效率更高，似乎更符合生物特性。

Karpathy还给出了一个关键洞察：

Vision→Text的任务空间，其实完全包含了Text→Text的任务空间，任何文本都可以无损“渲染”成图像。但反过来从图像到文本就会丢失大量信息。这种不对称暗示了一个激进的方向：把所有输入统一为视觉模态，输出保持文本不变。

这不仅仅是“文本到文本”任务变成了“视觉到文本”任务，这是一个更根本的转变。

如果输入端彻底转向像素，我们实际上构建的，不再是传统意义上的“大语言模型”，而是一个视觉条件下的文本生成系统。模型看到的，不再是固定划分的字符，而是更凌乱、更无序但信息更丰富的原始信号。沿着这条全新的发展道路，似乎远远能够望到世界模型的轮廓。

再看一遍 DeepSeek在OCR论文的总结，「这一范式将为解决长上下文建模中的效率瓶颈、记忆机制设计与多模态融合等核心问题提供全新的思路和广阔的研究空间」，措辞谨慎且谦虚。

DeepSeek值得尊敬。

??时事1：世界杯竞猜在哪投注

??10月23日,浙江象山统一战线成员爱心接力30小时 卖完3000箱柑橘,

　　他很想怒吼，你是王侯，也要掂量一下，因为我是雨族中人！可是话到嘴边又咽了下去，怕惹来更大的痛苦。

,金沙网上网站。

??10月23日,“暖”用品线上线下热销 外卖暖宝宝订单激增,

　　其他三头生灵自然紧追不舍，发动凌厉攻击。

,微信在哪投注世界杯,m6米乐手机版登录,千亿体育。

??时事2：立博中文官网

??10月23日,道中华丨云冈石窟第6窟中文殊和维摩诘竟然在中国？杭侃院长揭秘云冈石窟中的佛教中国化,

　　混战开始了，铁矛飞舞，阔剑劈斩，双方人冲向一起，激烈厮杀。

,赌钱手游大全,E世博真人投注,沙巴体育到344k.com。

??10月23日,中国“乌兹别克斯坦文化日”在京开幕,

　　历史的潮流，浩浩荡荡、滚滚向前。今天，我们又站在一个新的历史起点上。我国已经进入全面落实科学发展观、构建社会主义和谐社会的新的发展阶段，上海也正在加快推进“四个率先”、加快建设“四个中心”和现代化国际大都市的征程上阔步前进。我们这代年轻人应该怎样来纪念历史?怎样来纪念“五四”?有一位先哲曾经说过：“我们对于历史最好的纪念，就是把前人想要做而没有来得及做或者没有完成的事情，做得更好。”对于当代年轻人来说，我们需要不懈地追求，只有理想远大、信念坚定、目标执着，将个人价值的实现融入党和人民的伟大事业中，我们的天地才会无限广阔;我们需要不懈地学习，把青年群体打造成一个最勤奋学习、最刻苦学习、最善于学习、最具学习能力的群体，以学习长实力，以实力求发展;我们需要不懈地创新，创新我们的思想，创新我们的工作，创新我们的机制，以创新来推动事业的进步，以创新来获得更大的发展;我们需要不懈地奉献，奉献在我们的岗位上，奉献在我们的社会中，以奉献提升我们的人生价值，以奉献使我们的社会变得更加和谐、更加温馨。

,皇冠体育比分官网,365bet注册地址,聚星jx下载。

??时事3：拉菲彩票平台

??10月23日,【新春纪事】投壶研墨剪窗花 留学生在古城襄阳体验中国传统习俗,

　　一头狴犴冲出，凶威震慑荒林，万兽臣服，百鸟惊颤，天地都寂静了下来。

,九州bet9登陆,BBIN体育网,宝博棋牌官网版。

??10月23日,中国慰安妇受害者子女首次在国内起诉日本政府,

　　同学们，“良时不再至，离别在须臾”“努力崇明德，皓首以为期”。祝福你们，我的孩子们，深深地，深深地！

,伟德bv,365bet足球比赛,黄大仙救世。

??时事4：牛宝体育app下载

??10月23日,华侨大学旅游管理学科成立40周年,

　　“吱……”

,鸿博体育官方网站,红心游戏大厅,美高梅在哪玩。

??10月23日,最高人民法院启动“版权AI智审”试点工作,

　　培养自己读书的爱好，主动阅读课外书，开阔眼界，增长知。

,九游会官方在线,世界杯投注竞猜在哪,世界杯怎么买比分球。