猫眼电影
猫眼电影记者 斯蒂芬-罗斯 报道Q8X2R7L1T4J5M9B6W3
本工作由第一作者在字节跳动智创北美团队实习期间完成。第一作者卞宇轩目前为香港中文大学计算机科学与工程系博士二年级学生,研究方向为可控视频生成,师从徐强教授,并曾在字节跳动、腾讯等公司实习。个人主页:https://yxbian23.github.io/
视频创作中,你是否曾希望复刻变成 Labubu 的特效,重现吉卜力风格化,跳出短视频平台爆火的同款舞蹈,或模仿复杂有趣的希区柯克运镜?
在现在的 AI 视频生成中,这些依赖抽象语义控制的创作,因缺乏统一的条件表征,实现起来往往异常困难。
最基础和直接的想法是针对每一种抽象语义单独训练 LoRA 或针对某一类语义条件设计专门的模型架构完成针对性的特征提取和可控生成。
然而,语义条件可能无穷无尽,一个条件训练一个模型会导致实际使用非常复杂,计算消耗非常庞大,且面对未曾训练的其他语义条件,模型没有任何泛化性能;针对某一类语义设计模型架构一定程度上在单独子集解决了这个问题(例如:相机控制,风格迁移),但面对着不同语义类别,仍需要不断切换模型,其任务专一的设计也无法完成不同语义类别的统一建模,阻碍了统一模型和模型规模化的进展。
为了解决这一痛点,香港中文大学与字节跳动团队联合提出了一种全新的语义可控的视频生成框架 Video-As-Prompt。它引入了一种「视频参考」的新范式,用户只需提供一段参考视频和对应的语义描述共同作为 prompt,模型就能直接「克隆」指定语义并应用于新内容,从根本上实现了抽象语义下可控视频生成范式的统一。
该工作的训练、推理代码和目前最大的高质量多语义数据集均已开源。该工作所提出的数据集规模宏大,包含超过 100K 视频,覆盖超过 100 个不同的高质量语义条件。
论文标题:Video-As-Prompt: Unified Semantic Control for Video Generation项目主页:https://bytedance.github.io/Video-As-Prompt/论文:https://arxiv.org/pdf/2510.20888Demo:https://www.youtube.com/watch?v=S3zpLIMOU4c模型:https://huggingface.co/collections/ByteDance/video-as-prompt数据集:https://huggingface.co/datasets/BianYx/VAP-Data代码:https://github.com/bytedance/Video-As-Prompt
Video-As-Prompt 能力展示
Video-As-Prompt 支持四大类复杂语义的克隆和迁移:复杂概念、艺术风格、指定动作和相机运镜,基于其强大的克隆能力,Video-As-Prompt 衍生出诸多应用:
用包含不同语义的不同参考视频驱动同一张图片:
用包含相同语义的不同参考视频驱动同一张图片:
用同一个参考视频驱动不同图片:
结合文本实现语义编辑:
新万博体育:的 demo 效果请参考项目主页。
Video-As-Prompt 算法解读
实现一个统一的语义可控视频生成模型的关键就在于:
如何构建统一的语义条件表征如何在语义条件表征和生成视频之间建立有效的语义信息映射如何找到可扩展的架构以实现高效训练
Video-As-Prompt 通过让具有指定语义的参考视频充当生成上下文 prompt,实现了抽象语义条件下的统一可控视频生成。
语义条件表征
提出使用参考视频作为统一的抽象语义条件表征,无需针对不同语义进行分类和设计针对编码模型,大大提升了模型架构的通用性、可拓展性,同时降低了用户使用的难度。
语义信息映射
将参考视频当作「视频 prompt」,从 in-context generation 的角度完成统一的语义映射。
可扩展的架构
直接训练视频生成基模通常会导致在数据有限的情况下发生灾难性遗忘。为了稳定训练,研究者采用 Mixture-of-Transformers(MoTs):一个冻结的视频扩散 Transformer(DiT)加上一个从主干初始化的可 trainable 并行专家 Transformer 联合建模。
具体来说,专家处理参考视频代表的语义条件 tokens,而冻结的 DiT 处理待生成的视频 tokens。每个 DiT 都保留各自的 Q、K、V 投影、前馈层和归一化层;在每一层连接两部分的 Q/K/V,并运行全注意力机制,以实现双向信息融合和上下文控制。
Video-As-Prompt 实验结果
为了支持统一的语义控制视频生成,研究者构建并发布了VAP-Data 用于促进相关研究大规模训练,和对应的 Benchmark 用于公平评测,这是目前开源用于语义可控视频生成的最大数据集,其中包含超过 100 个语义条件下的 100K 个精选配对视频样本。
研究人员主要和两类方法进行了比较:
统一的结构化控制视频生成:VACE 的三个变体(分别采取原始参考视频,参考视频的深度、光流作为控制条件)离散的语义控制视频生成:原始的视频 DiT 基座,视频 DiT 基座 + 针对每种语义单独训练 LoRA,Kling/Vidu 等商业 API
总体而言,Video-As-Prompt 的性能在整体视频质量、文本一致性、语义一致性(Gemini-2.5-Pro 判别)和人工偏好上都与闭源模型 Kling/Vidu 相当并优于其他开源基线,并且是首个针对所有语义条件统一控制且可扩展和推广的模型。
并且,通过将所有语义条件视为统一的视频提示,Video-As-Prompt 支持多种语义控制的生成任务。此外,当给定一个不属于训练数据的语义参考时,从参考视频建模范式中学习到的上下文生成能力使 Video-As-Prompt 能够执行由新语义参考引导的零样本生成,这超越了之前所有的方法,并为未来的统一可控生成提供了新的可能。
左边为训练时完全不曾见过的相关语义参考视频,右边为 zero-shot 推理结果
总结
Video-As-Prompt 是一个统一的、语义控制的视频生成框架,它提出参考视频克隆生成的生成范式,将参考视频视为 video prompt,并通过 Mixture-of-Transformers 实现即插即用的上下文控制,提供了可扩展的语义控制和零样本泛化能力。其统一的参考视频建模(「Video-As-Prompt」)框架,验证了基于参考视频的可控生成这一思路的巨大潜力。
同时,开源的大规模视频参考生成数据集也将为社区的相关研究提供强有力的数据支持,有望推动 AIGC 视频创作进入一个生成更可控、语义更丰富的新阶段。
??时事1:sztwsp.com
??11月18日,港投公司与“港产独角兽”签合作协议 助力香港AI发展,
此时,他嘴角带着血,将雪白的须发都染红了,面容苍老,有一种深深的忧虑。
,色松鼠伦理片。??11月18日,广东举办“南粤扶残·艺海友爱”暨国际残疾人日活动,
突然,另外几块宝骨发光,直接破空而去,此外大青石也化成了光雨,从这里消失了。这让小不点跺脚,道:“诶,怎么跑了,停下!”
,美女被草软件,久艹网,欧美性69式XXXX。??时事2:www,3rb3rb免费视频
??11月18日,山西八里坪遗址:古国时代晚期东西互动的文化枢纽,
然而,不曾等他动手,祭灵自身惨叫,发生了惊变,它通体龟裂,金色符文闪烁,而后砰的一声竟然裂开了。
,亚洲国产综合91麻豆精品,欧美老妇爽片,纲手和照美冥。??11月18日,渤海首个千亿方大气田累产天然气突破10亿立方米,
“这是谁干的,要逆天了吗?人皇正值鼎盛时期,神威盖世,有人竟一把火烧了石族中兴之地,胆子也太大了!”
,free性户土vidos亚洲,色偷偷色噜噜狠狠久久97,动漫美女裸体秘 免费视频。??时事3:日本一区二区三区色
??11月18日,内蒙古小县城“瓜子姐姐”带特色农产品“出海”,
这是一个十四五岁的少年,身材高挑,发丝黑亮而柔顺,皮肤白皙,整个人很俊美,只是眼睛很冷,略微破坏了美感,令人感觉到了一种野性与残酷。
,偷拍自慰,伊人精品一区二区三区四区,亚洲日韩黄色网。??11月18日,广西警方创新形式宣传交规 警营魔术师自创道具展示文明出行,
大风呼啸,青鳞鹰极速冲来,探出一双磨盘大的铁爪,抓向那头八九米长的银白色穿山甲,因为它多半会最先得到狻猊尸体,大半截躯体都消失在了石山中。
,性爱一级黄片,看av的免费网址,亚洲图片欧美视频图片。??时事4:免费看h在线
??11月18日,新疆阿勒泰雪崩:受阻区域基站全部恢复通信畅通,
村干部处于农村工作的最前沿和最基层,不仅是指挥员,而且是战斗员;既是组织领导者,又是生产实践者,是全体村民的主心骨和掌舵人。大到党的路线方针政策的贯彻落实和农村经济社会的统筹发展,小到广大群众的衣食住行和民生改善,村干部都要亲力亲为,直接为千家万户提供服务。实践证明,一个村工作搞得好不好,各项事业发展得快不快,与我们村干部的素质高低、能力强弱有直接关系。做好村干部培训工作,对加强党的基层组织建设,充分发挥战斗堡垒作用具有重要意义。区委、区政府一直以来高度重视村干部的培训工作,去年出台的《新万博体育:进一步加强村居干部队伍建设的意见》,提出了要大力推进村居干部职业化,其中对村干部教育培训常态化工作提出了明确要求,希望各乡镇党委和有关部门要认真抓好落实。
,萝莉自慰喷水,XXXX丰满老熟妇视频,国产精品_国产精品_国产精品。??11月18日,云南省司法厅原一级巡视员夏新建被“双开”,
“大婶,我是不是很没用?刚才都那样了,还是下不了杀手,只是伤了他们的肩头与手臂……”小不点落泪自责。
,粗口体育生视频,一级激情视频在线观看,欧美色色网。责编:周辉
审核:胡嘉许
责编:安德鲁·蒂尔曼












