猫眼电影
猫眼电影记者 赞达亚·科尔曼 报道Q8X2R7L1T4J5M9B6W3
新智元报道
编辑:LRST
【新智元导读】最新方法FFGo改变了我们对视频生成模型中第一帧的理解。第一帧并非简单起点,而是模型的「概念记忆体」,存储了后续画面的视觉元素。FFGo通过少量样本和特殊训练,激活模型的这种能力,实现高质量的视频定制,无需修改模型结构或大量数据,为视频生成开辟了新方向。
在Text-to-Video / Image-to-Video 技术突飞猛进的今天,我们已经习惯了这样一个常识:
视频生成的第一帧(First Frame)只是时间轴的起点,是后续动画的起始画面。
但马里兰大学、南加利福尼亚大学、麻省理工学院的最新研究发现:第一帧的真正角色完全不是「起点」,它其实是视频模型的「概念记忆体」(conceptual memory buffer), 所有后续画面引用的视觉实体,都被它默默储存在这一帧里。
论文链接:https://arxiv.org/abs/2511.15700
项目主页:http://firstframego.github.io
该研究的出发点,源于对视频生成模型中一个广泛存在但尚未被系统研究的现象的深入思考。
论文的核心洞察非常大胆:视频生成模型会自动把首帧中的角色、物体、纹理、布局等视觉实体,全部「记住」,并在后续帧中不断复用。
换句话说,不论你给多少参考物体,模型都会在第一帧悄悄把它们打包成一个「概念蓝图(blueprint)」。
研究者用Veo3、Sora2、Wan2.2等视频模型测试发现:
若首帧出现多对象组合, 在很少的情况下,通过使用特殊的转场提示词 ,模型在后续帧里能自然融合它们, 甚至能支持跨场景转场、保持角色属性一致;
但是这个神奇的转场提示词 对于每个模型,每个要生成的视频都是不一样的,而且模型在转场融合多物体后常常会产生物体,场景一致性损失,或者物体丢失的问题。
这说明:
? 第一帧是模型「记忆」外来参考的地方
? 但默认情况下,这种能力「不稳定、不可控」
FFGo方法
不改结构、不大规模微调,只用20–50个例子就能让任何预训练的视频模型变身强大的「参考图驱动视频定制系统」。
研究者基于这个洞见提出了一套极其轻量的做法 :FFGo。
关键优势震撼整个行业:
? 不修改任何模型结构? 不需要百万级训练数据? 只需 20–50 个 carefully curated 的视频例子? 几个小时的 LoRA 训练? 就能实现SOTA级别的视频内容定制
这在现有方法中几乎是不可想象的。
研究人员列出了6大应用场景:
机器人操作(Robot Manipulation)
自动驾驶模拟(Driving Simulation)
航拍/水下/无人机模拟(Aerial / Underwater)
多产品展示
影视制作
任意多角色组合视频生成
用户只需要给模型一张包含多个物体/角色的首帧,再配一个文本prompt,FFGo就能让模型自动「记住」所有元素并生成交互视频, 且画面一致性、物体身份保持、动作连贯都非常强,甚至支持「多达5个参考实体同时融合」, 而 VACE/SkyReels-A2限制在3个以内,会直接漏物体。
技术亮点
用VLM自动构建20–50条高质量训练集
用Gemini-2.5 Pro自动识别前景物体, 用SAM2提取RGBA mask, 自动生成视频文本描述,构建适配视频模型输入的训练样本, 这大大降低了手工工作量。
使用Few-shot LoRA激活模型「记忆机制」
研究发现:
模型天然具备融合多参考物体的能力, 但默认难以「触发」
一段特殊prompt(如「ad23r2 the camera view suddenly changes」)能起到「转场信号」的作用
LoRA学到的不是新能力,而是「如何触发这些能力」,推理时只需丢掉前4帧(Wan2.2的压缩帧)
视频真正的混合内容在第5帧之后开始。前4帧是压缩帧,直接舍弃即可。
FFGo为什么这么强?
研究人员做了大量对比实验:? FFGo 能保持物体身份一致性(Identity Preservation)? 能处理新万博体育:参考对象(5个 vs 3个)? 能避免大模型微调带来的「灾难性遗忘」? 输出画面更自然、更连贯
特别是在多物体场景和通用的多物体互动场景下 FFGo的生成效果显著优于VACE和SkyReels-A2。
基础模型偶尔「成功」,代表了什么?
在研究FFGo的过程中,有一个特别关键的实验图示值得单独拿出来说:在偶尔的、极罕见的情况下,Wan2.2原始I2V模型也能完成一次「完美」的任务:
多个参考物体没有消失
场景转场保持稳定
动作连贯、身份一致
与文本提示(例如 wingsuit 飞行者与 Cybertruck 贴合运动)高度匹配
如果只看这一组结果,你甚至会以为原始模型本身就具备稳定的多对象融合能力。
但事实恰恰相反,成功的意义并不在于「基础模型表现很好」,而是在于:基础模型本来就「拥有」这种能力,只是大多数时候无法被稳定激活。
研究团队的洞察在这里被证实:
? 视频生成模型确实会把多个参考实体存进第一帧的内部记忆结构中? 视频模型本身能执行「多对象+动作一致」的生成? 但这种行为默认几乎不可控、不稳定、难复现
这就像模型体内藏着一块「隐藏 GPU」,偶尔会亮一下,但你完全不能指望它全天候工作。
FFGo不是教会模型新能力,而是让它「稳定发挥」
在上述对比中,FFGo的结果与原始模型的「偶尔成功结果」几乎一致,这说明:FFGo的LoRA不是在重写模型,而是在激活已有的潜在能力。
换句话说:原始模型=有潜力,但无法持续发挥,而FFGo=让潜力变成稳定能力(且不破坏预训练知识)
论文中提到,FFGo能保留原模型的生成质量,而不是像传统大规模微调那样牺牲泛化能力, 没有任何微调可以媲美预训练的数据质量和学习效果。
这个实验也证明了一件极具革命性的事:首帧本身就具备「概念记忆体」的角色、视频模型天生可以做多对象融合、关键只是缺乏一个「触发机制」。
FFGo做的就是:用几十条样本、一个精心设计的转场标记(transition phrase)、Few-shot LoRA,把这种能力重新「开机」,并且让它可控、稳定、可靠。
这也是为什么:FFGo能用20–50个样例,把SOTA模型甩在身后。
这个实验所传达的,本质上就是一句话:视频模型已经足够强,只是我们过去一直没有找到正确的用法。
而FFGo正是在教我们一件事:如何「正确使用」视频生成模型。
总结
用一句话概括这篇论文的研究意义:它不是让模型学会新能力,而是教我们如何使用模型已经拥有但从未被正确利用的能力。
研究人员提出了一个极具启发性的未来方向:
更聪明地使用模型,而不是更暴力地训练模型 用更少的数据、更轻的微调,获得更强的定制能力 把「首帧作为概念记忆体」变成视频生成的新范式
总之,在视频模型中:
第一帧不是起点,而是模型的「记忆库」, 视频模型天然具备多对象融合能力
FFGo用极低成本把这种能力「唤醒」, 不改结构、不用大数据, 仅20–50个例子即可实现SOTA视频定制
实验覆盖机器人、驾驶、影视等多场景, 用户研究中以81.2%票数大幅领先
这篇论文不只是一个技术突破,更像是打开了视频生成模型的「隐藏技能树」。
参考资料:
https://arxiv.org/abs/2511.15700
秒追ASI
?点赞、转发、在看一键三连?
点亮星标,锁定新智元极速推送!
UniV
??时事1:一定发最新地址
??11月23日,12支劲旅角逐巴西中企协公益足球赛,
事实上,宝术稀少,纵然是数以千万、上亿人口的大部落,也只有一种强大宝术而已,辅以几个小神通。
,uc体育app下载安装。??11月23日,南水北调中线引江补汉工程首台硬岩掘进机“江汉先锋号”掘进始发,
亲爱的同学们,伸出你的手,伸出我的手,让我们一起播种绿色,让我们一起宣传绿色倡议,让大地妈妈拥有新万博体育:的绿色吧
,葡萄京娱乐场网上平台,yabo网投平台,澳门真实的云顶网址。??时事2:国外正规买球平台
??11月23日,北京港澳台侨妇女联谊会成立三十五周年庆祝活动在北京举办,
“父亲生死不知,无论如何,我都要去尽力寻找!”男子很果断,坚持要去。
,开元真人平台,凤凰彩票快速注册,雷速体育闪退什么情况。??11月23日,近2000名选手贵州梵净山竞速迎春登山赛:赛道极具挑战 颜值“拉满”,
今天下午,我们在这里举行学生会换届选举演讲。为此,我谨代表学校,以及关心学生会的老师,向上届学生会全体同学的辛勤付出和积极工作表示由衷的感谢!向关心、支持、参与学生会各项工作的在座人员致以崇高的敬意!
,M6米乐是正规网站吗,雷速体育下载中国,sbobet登录。??时事3:天博全站官网登录
??11月23日,威廉·透纳、拉斐尔前派绘画作品汇聚国家大剧院,
“不管怎样说都很极品,居然干出这种事情来,他家大人就没有告诉过他进入虚神界后该怎么做吗?”
,大发888最新地址,打鱼兑换现金,博乐棋牌怎么玩的。??11月23日,香港红色暴雨警告信号生效 西贡区暴雨水浸,
小不点以银月格挡,将一杆又一杆铁矛斩断,铿锵音震耳,火星飞溅,形势很危急。
,乐鱼真人投注,马经龙头报(荐),jx聚星app下载老版本。??时事4:多宝网投平台
??11月23日,英国著名学者马丁·雅克:读懂中华民族为世界带来的新机遇,
说到人类与环境的关系,我们总是觉得是件离自己很遥远的事情,其实不然,环境问题可以说就在我们的身边。最近几天,不知大家是否关注过一则报道,由于无锡太湖水域大面积暴发蓝藻,一夜之间,数百万市民的自来水无法正常使用,打开水龙头,就闻到一阵臭烘烘的异味,水无法饮用,给人们的生活带来了诸多不便。而造成这次蓝藻暴发的原因是我们人类自己:工业污水源源不断地排放入太湖,太湖人工养殖业的过度开发,促使太湖水质的富营养化病症日益加重;加上无锡4月份平均气温比常年高出1.8摄氏度,给蓝藻的生长提供了有利条件,蓝藻大量繁殖,水中的溶解氧浓度降低,造成鱼虾、螺蛳等水生物死亡,太湖水面被一层厚厚的绿色物体全面覆盖,腐烂的蓝藻引起水质急剧恶化。原本清澈的太湖水今日景象触目惊心,太湖也在“警告”所有人:如果人类肆意破坏环境,大自然就会无情地报复人类。
,联众天天单机斗地主,lol比赛怎么买外围,365手机网址开户。??11月23日,哈尔滨冰雪大世界:一键扫码可获取防寒用品分布 大滑梯排队区设暖棚,
山林中那些强者何其敏锐,自然听到了,闻言都一怔,按照他们的理解,这只是一个落后的山村,根本不会有什么高手。然而,这些娃子的话却让他们惊异,独角兽可不是寻常的猛兽,真要发狂当得起一个“凶”字,实力很强,几个山野村人也敢追?
,盘古娱乐国际真人娱乐,金沙唯一官方娱乐场,天棋棋牌苹果版官网。责编:田一龙
审核:冯莉
责编:杜洛克












