新万博体育

　　猫眼电影记者 马拉多纳 报道Q8X2R7L1T4J5M9B6W3

本工作由第一作者在字节跳动智创北美团队实习期间完成。第一作者卞宇轩目前为香港中文大学计算机科学与工程系博士二年级学生，研究方向为可控视频生成，师从徐强教授，并曾在字节跳动、腾讯等公司实习。个人主页：https://yxbian23.github.io/

视频创作中，你是否曾希望复刻变成 Labubu 的特效，重现吉卜力风格化，跳出短视频平台爆火的同款舞蹈，或模仿复杂有趣的希区柯克运镜？

在现在的 AI 视频生成中，这些依赖抽象语义控制的创作，因缺乏统一的条件表征，实现起来往往异常困难。

最基础和直接的想法是针对每一种抽象语义单独训练 LoRA 或针对某一类语义条件设计专门的模型架构完成针对性的特征提取和可控生成。

然而，语义条件可能无穷无尽，一个条件训练一个模型会导致实际使用非常复杂，计算消耗非常庞大，且面对未曾训练的其他语义条件，模型没有任何泛化性能；针对某一类语义设计模型架构一定程度上在单独子集解决了这个问题（例如：相机控制，风格迁移），但面对着不同语义类别，仍需要不断切换模型，其任务专一的设计也无法完成不同语义类别的统一建模，阻碍了统一模型和模型规模化的进展。

为了解决这一痛点，香港中文大学与字节跳动团队联合提出了一种全新的语义可控的视频生成框架 Video-As-Prompt。它引入了一种「视频参考」的新范式，用户只需提供一段参考视频和对应的语义描述共同作为 prompt，模型就能直接「克隆」指定语义并应用于新内容，从根本上实现了抽象语义下可控视频生成范式的统一。

该工作的训练、推理代码和目前最大的高质量多语义数据集均已开源。该工作所提出的数据集规模宏大，包含超过 100K 视频，覆盖超过 100 个不同的高质量语义条件。

论文标题：Video-As-Prompt: Unified Semantic Control for Video Generation项目主页：https://bytedance.github.io/Video-As-Prompt/论文：https://arxiv.org/pdf/2510.20888Demo：https://www.youtube.com/watch?v=S3zpLIMOU4c模型：https://huggingface.co/collections/ByteDance/video-as-prompt数据集：https://huggingface.co/datasets/BianYx/VAP-Data代码：https://github.com/bytedance/Video-As-Prompt

Video-As-Prompt 能力展示

Video-As-Prompt 支持四大类复杂语义的克隆和迁移：复杂概念、艺术风格、指定动作和相机运镜，基于其强大的克隆能力，Video-As-Prompt 衍生出诸多应用：

用包含不同语义的不同参考视频驱动同一张图片：

用包含相同语义的不同参考视频驱动同一张图片：

用同一个参考视频驱动不同图片：

结合文本实现语义编辑：

新万博体育：的 demo 效果请参考项目主页。

Video-As-Prompt 算法解读

实现一个统一的语义可控视频生成模型的关键就在于：

如何构建统一的语义条件表征如何在语义条件表征和生成视频之间建立有效的语义信息映射如何找到可扩展的架构以实现高效训练

Video-As-Prompt 通过让具有指定语义的参考视频充当生成上下文 prompt，实现了抽象语义条件下的统一可控视频生成。

语义条件表征

提出使用参考视频作为统一的抽象语义条件表征，无需针对不同语义进行分类和设计针对编码模型，大大提升了模型架构的通用性、可拓展性，同时降低了用户使用的难度。

语义信息映射

将参考视频当作「视频 prompt」，从 in-context generation 的角度完成统一的语义映射。

可扩展的架构

直接训练视频生成基模通常会导致在数据有限的情况下发生灾难性遗忘。为了稳定训练，研究者采用 Mixture-of-Transformers（MoTs）：一个冻结的视频扩散 Transformer（DiT）加上一个从主干初始化的可 trainable 并行专家 Transformer 联合建模。

具体来说，专家处理参考视频代表的语义条件 tokens，而冻结的 DiT 处理待生成的视频 tokens。每个 DiT 都保留各自的 Q、K、V 投影、前馈层和归一化层；在每一层连接两部分的 Q/K/V，并运行全注意力机制，以实现双向信息融合和上下文控制。

Video-As-Prompt 实验结果

为了支持统一的语义控制视频生成，研究者构建并发布了VAP-Data 用于促进相关研究大规模训练，和对应的 Benchmark 用于公平评测，这是目前开源用于语义可控视频生成的最大数据集，其中包含超过 100 个语义条件下的 100K 个精选配对视频样本。

研究人员主要和两类方法进行了比较：

统一的结构化控制视频生成：VACE 的三个变体（分别采取原始参考视频，参考视频的深度、光流作为控制条件）离散的语义控制视频生成：原始的视频 DiT 基座，视频 DiT 基座 + 针对每种语义单独训练 LoRA，Kling/Vidu 等商业 API

总体而言，Video-As-Prompt 的性能在整体视频质量、文本一致性、语义一致性（Gemini-2.5-Pro 判别）和人工偏好上都与闭源模型 Kling/Vidu 相当并优于其他开源基线，并且是首个针对所有语义条件统一控制且可扩展和推广的模型。

并且，通过将所有语义条件视为统一的视频提示，Video-As-Prompt 支持多种语义控制的生成任务。此外，当给定一个不属于训练数据的语义参考时，从参考视频建模范式中学习到的上下文生成能力使 Video-As-Prompt 能够执行由新语义参考引导的零样本生成，这超越了之前所有的方法，并为未来的统一可控生成提供了新的可能。

左边为训练时完全不曾见过的相关语义参考视频，右边为 zero-shot 推理结果

总结

Video-As-Prompt 是一个统一的、语义控制的视频生成框架，它提出参考视频克隆生成的生成范式，将参考视频视为 video prompt，并通过 Mixture-of-Transformers 实现即插即用的上下文控制，提供了可扩展的语义控制和零样本泛化能力。其统一的参考视频建模（「Video-As-Prompt」）框架，验证了基于参考视频的可控生成这一思路的巨大潜力。

同时，开源的大规模视频参考生成数据集也将为社区的相关研究提供强有力的数据支持，有望推动 AIGC 视频创作进入一个生成更可控、语义更丰富的新阶段。

??时事1：美高梅竞彩官网

??11月16日,2024年三亚国际游艇展开幕,

　　事已至此，小石昊不想与他多说什么，此时唯有一战。

,威尼斯人网页登录。

??11月16日,远在海外近在身边 浙江温州侨力量推动邻里食堂建设,

　　小不点倒是睡的很香甜，脏腑晶莹，骨骼洁白，像是冲洗了一遍，早晨起来，他发现浑身黏糊糊，那都是自体内排出的。

,万能娱乐捕鱼什么时候好打,玩pg电子有什么技巧,抢庄牛牛是几的倍数。

??时事2：九游会GJ网址

??11月16日,“艺术设计跨市域协同创新联盟”在沪成立 培养高素质文创人才,

　　金毛狮子挥动锋利的大爪子，“啪”的一声拍在了上面，顿时火星四溅，巨石滚落了出去。

,a 国际音标真人发音,yabo网投平台,吉尼斯娱乐城。

??11月16日,一箭18星 中国成功发射千帆极轨01组卫星,

　　“走吧！”海老人头皮都发炸了，不敢久留。

,金沙总站4066,足球买球平台,乐博苹果版。

??时事3：澳门游戏网站是多少

??11月16日,（文化中国行）南京六朝博物馆：这些文物有着来自六朝的“微笑”,

　　它张口长啸，符文漫天，召唤那些金色的鳞片。但是，再快能快过闪电吗，这一瞬间，又是一排雷光降落，将它击的横飞了起来，几根骨头都炸断了，焦黑一片，马上就要伤到了它的脏腑。

,乐东体育官网,澳门银银河大平台,天博体育 官网。

??11月16日,公示期后半年无进展，这个小区电梯加装“卡”在哪？,　　5月中旬，《朝阳三里屯北京星远福源电力设备安装有限公司“1·18”一般坍塌事故调查报告》公布。报告指出，2024年1月18日，北京地铁3号线一标工体北路电力改移工程施工现场发生一起坍塌事故，1名工人因沙土掩埋致机械性窒息死亡。调查组认定，该起事故是一起因施工人员违章作业，事发单位安全管理不力造成的生产安全责任事故。,玩老虎机网站,天博体育登录不上去,天博博客。

??时事4：w8优德官方网站

??11月16日,这样的“代驾”不可取！酒后启动“辅助驾驶” 出车祸断了两根肋骨,

　　“清风别紧张，重新接续断筋一定会成功的，有这些宝药在，保证可让你筋骨再生。”小不点安慰。

,m6米乐官网是多少,大发棋牌官网,雷速体育。

??11月16日,逛故宫、品茶艺、赏夜景 华裔青少年开启北京文化之旅,

　　对面一群人目光慑人，皆冷冷的看着他，一个孩子而已，也敢挑战他们这一巨族的威严？应当立时镇压。

,特码诗,拉菲彩票平台,马经挂牌系列G。