猫眼电影
猫眼电影记者 张文旦 报道P6F3X2M7T9QJ8L1B4WZR
TC-Light 是由中科院自动化所张兆翔教授团队研发的生成式渲染器,能够对具身训练任务中复杂和剧烈运动的长视频序列进行逼真的光照与纹理重渲染,同时具备良好的时序一致性和低计算成本开销,使得它能够帮助减少 Sim2Real Gap 以及实现 Real2Real 的数据增强,帮助获得具身智能训练所需的海量高质量数据。
它是如何实现的呢?本文将为你揭秘 TC-Light 背后的黑科技!本工作已中稿 NeurIPS2025,论文与代码均已公开,欢迎大家试用和体验,也欢迎大家到 Project Page 体验 Video Demo。
论文题目:TC-Light: Temporally Coherent Generative Rendering for Realistic World Transfer项目主页: https://dekuliutesla.github.io/tclight/论文链接: https://arxiv.org/abs/2506.18904代码链接: https://github.com/Linketic/TC-Light
研究背景
光线及其与周围环境的交互共同塑造了人类以及具身智能体感知数字世界和现实世界的基本方式,在不同光照条件下对世界的观测使得我们理解光线与物质的交互关系,使得我们形成对周边环境物质和几何属性的基本判断,并且也使得我们能够在不同的光照条件下都能够鲁棒且正确地完成与世界的交互。
然而,在现实环境中采集不同光照与场景条件下的数据代价高昂,而仿真环境中尽管可以获得近乎无限的数据,但受限于算力资源,通常需要对光线的多次折射衍射以及纹理精度进行近似和简化,使得视觉真实性无可避免地受到损失,在视觉层面产生 Sim2Real Gap。而如果能够借助生成式模型根据所需的光照条件对现实或仿真环境下采集到的视频数据进行重渲染,不仅能够帮助获得增加已有真实数据的多样性,并且能够弥合计算误差带来的 CG 感,使得从仿真器中得到视觉上高度真实的传感器数据,包括 RL-CycleGAN 在内的许多工作已经证实,这一策略能够帮助减少将具身模型迁移到真实环境中所需微调的数据量和训练量。
尽管这一任务意义重大,但实际解决过程面临许多挑战。用于训练的视频数据往往伴随复杂的运动以及前景物体的频繁进出,同时视频序列有着较长的长度以及较高的分辨率。我们的定量和定性实验证据(参见论文实验部分及 Project Page)表明,在这些复杂且困难的输入条件下,已有的算法要么受制于训练所用视频数据的分布(如 COSMOS-Transfer1,Relighting4D),要么难以承受巨大的计算开销(如 Light-A-Video, RelightVid),要么难以保证良好的时序一致性(如 VidToMe, RAVE 等)。
图 1 TC-Light 效果展示
为了推动这一问题的解决,我们提出了 TC-Light 算法,在提升视频生成模型计算效率的同时,通过两阶段在线快速优化提升输出结果的一致性,如图 1 和视频Demo所示所示,本算法在保持重渲染真实性的同时,时序一致性和真实性相比于已有算法取得了显著提高。下面对算法细节进行详细介绍。
二、TC-Light 算法介绍
零样本时序模型扩展
TC-Light 首先使用视频扩散模型根据文本指令对输入视频进行初步的重渲染。这里我们基于预训练好的 SOTA 图像模型 IC-Light 以及 VidToMe 架构进行拓展,同时引入我们所提出的 Decayed Multi-Axis Denoising 模块增强时序一致性。具体而言,VidToMe 在模型的自注意力模块前后分别对来自不同帧的相似 token 进行聚合和拆分,从而增强时序一致性并减少计算开销;如图 2 中 (a) 所示,类似 Slicedit,Decayed Multi-Axis Denoising 模块将输入视频分别视作图像 (x-y 平面) 的序列和时空切片(y-t 平面)的序列,分别用输入的文本指令和空文本指令进行去噪,并对两组噪声进行整合,从而使用原视频的运动信息指导去噪过程。不同于 Slicedit,我们在 AIN 模块对两组噪声的统计特性进行了对齐,同时时空切片部分的噪声权重随去噪步数指数下降,从而避免原视频光照和纹理分布对重渲染结果的过度影响。
图 2 TC-Light 管线示意图
两阶段时序一致性优化策略
尽管通过引入前一小节的模型,视频生成式重渲染结果的一致性得到了有效改善,但输出结果仍然存在纹理和光照的跳变。因此我们进一步引入两阶段的时序一致性优化策略,这同时也是 TC-Light 的核心模块。在第一阶段,如图 2 中 (b) 所示,我们为每一帧引入 Appearance Embedding 以调整曝光度,并根据 MemFlow 从输入视频估计的光流或仿真器给出的光流优化帧间一致性,从而对齐全局光照。这一阶段的优化过程非常快速,A100 上 300 帧 960x540 分辨率只需要数十秒的时间即可完成。
三、实验与分析
表 1 与主流算法的定量性能比较,其中 VidToMe 和 Slicedit 的基模型都换成了 IC-Light 以进行公平比较。Ours-light 指不用 Multi-Axis Denoising 模块的结果,相当于对 VidToMe 直接应用两阶段优化算法。
为了验证算法在长动态序列的重渲染表现,我们从 CARLA、Waymo、AgiBot-DigitalWorld、DROID 等数据集收集了 58 个序列进行综合评测,结果如表 1 所示。可以看到我们的算法克服了已有算法在时序一致性和计算开销等方面的问题,取得了最佳的综合性能表现。图 3 的可视化对比也表明,我们的算法在保持内容细节的同时得到了高质量的重渲染性能表现。
图 3 一致性与生成质量可视化对比。TC-Light 避免了 (a) 中像 Slicedit 和 COSMOS-Transfer1 那样不自然的重渲染结果和 (b) 中展现出的模糊失真,或 (c) 中像 IC-Light 和 VidToMe 那样的时序不一致性。
此外,我们也在有 GT 数据的仿真数据集 Virtual KITTI 上进行了比较,从而可以使用 SSIM 和 LPIPS 等指标替换 CLIP-T 等代理指标获得更客观的性能评估。表 2 的结果同样表明,我们的算法很好地取得了计算开销和性能之间的平衡,取得了最佳的重渲染效果。
表 2 Virtual KITTI 数据集上与主流算法的定量性能比较
四、总结
TC-Light 作为一种新的生成式渲染器,克服了具身环境下视觉传感器数据重渲染面对的时序一致性和长序列计算开销两大挑战,在性能表现上优于现有技术,不仅为 Sim2Real 和 Real2Real 数据扩展带来了新的思路,也为视频编辑领域带来了新的模型范式。TC-Light 的论文和代码均已开源,希望能够相关领域带来不同的思考和启发。
??时事1:打屁股㊙️无内裤的网站
??09月20日,外媒:加沙南部发生爆炸 致7名以军士兵受伤, [环球时报报道 记者 倪浩]8月3日,郑钦文夺得2024巴黎奥运会网球女单冠军,实现中国选手在该项目上的历史性突破,也点燃了民众参与网球运动的热情,网球热度随之大涨。接受《环球时报》记者采访的专家认为,体育明星与体育经济会形成正向反馈:体育明星的示范效应会提振相关体育产业、吸引新万博体育:人参与到运动中来,大众的广泛参与则会成为“未来明星运动员”诞生的基石。,国产精品秘竹菊传媒。
??09月20日,民进中央参政党理论研究年会(2024)在海口召开,
凶兽击在老狈的身上,符文交织,神辉绽放,如两颗彗星撞在一起,在夜空中发出刺眼的强光。
,91在线精品㊙️一区二区张津渝,美女裸体视频➕QQ群2025,女仆白丝jk❌❌❌❌。??时事2:免费无遮挡视频网站17c
??09月20日,中国各地文旅借《黑神话:悟空》热度上演“七十二变”,
那些婶子、奶奶们,一个个笑的合不拢嘴,正在收拾祭灵的血肉,锅里炖着的肉发出微弱的霞光,精气充沛的有点吓人。
,男生把🍌放进男生🍑里网站,宋雨琦吸乳❌❌自慰,中国屁股眼交HD。??09月20日,如何让人工智能服务地震监测?这家科研机构持续创新获重要进展,
各级档案部门和全体档案工作者要高度重视档案安全管理工作,要增强责任重于泰山、安全高于一切的意识,尽职尽责做好档案的保护者。一是市、县(市)区两级档案部门和各部门、各单位及档案工作者要高度重视档案安全工作,加强对档案安全知识的宣传教育,强化档案安全防范意识和责任意识。二是建立健全档案管理规章制度和档案安全应急防范机制,确保规章制度落到实处。三是改善档案馆(室)设施和档案保管条件,做好十防工作,保证档案安全与完整。四是要做好档案在保管环节和利用环节的安全工作,做好档案实体安全和档案信息安全工作。五是做好国家重点档案的抢救和保护工作,争取各级政府和各部门的支持,加大投入,对重要档案进行有计划的抢救与保护,做好重点档案保护技术业务指导工作。六是认真做好市级行政中心动迁单位档案安全管理工作,确保档案的完整与安全。
,あなたをどう呼べばいいですか?,斗罗美女裸体❌开腿P图,米塔黄化。??时事3:被c🔞黄㊙️❌网站下载动漫
??09月20日,柬埔寨首相:柬中传统友谊是两国和两国人民的宝贵财富,
自上古诸圣喋血到现在,每隔数百年都会有少年英雄进入百断山,很多人都到过这里,寻找心仪的宝具。
,51今日大瓜每日大赛往期内容,女人张开腿拉屎㊙️真人网站,国产大胸美女私㊙️部位视频。??09月20日,百余件亚美尼亚文化珍品亮相广东省博物馆,
今年教师节的主题是“落实重要讲话精神,聚焦乡村教师队伍建设”。就今后我校教师队伍建设而言,主要做好三个方面的工作:
,♥羞羞视频app♥黄版app,原神美女露大胸秘洗澡跳舞,岳的大肥坹视频。??时事4:成人🔞免费网站在线观看
??09月20日,酒店“先囤后付”划算吗?“0元囤”可能面临这些风险,
经过一段日子修养,清风渐渐复原,苍白的小脸有了血色,变得红扑扑,开始跟石村的孩子到处疯跑,体力完全没问题了。
,国产做受❌❌❌高潮97张,欧美成人3D巨大做受,我解开胸罩喂学长吃奶视频。??09月20日,韩国国防部召开全军指挥官会议 称将加强戒备,
毕业班 篇7
,美女开叉露胸内衣,100%胸片曝光率免费,胡连馨13秒录屏网盘。责编:伊佛普
审核:陈楚
责编:曹辉