世界模型希望让机器理解环境如何变化，并预测干预后的结果，支持智能体学习、仿真与内容创作。这要求视频模型在场景变化时仍保持物理关系的一致性。光照是其中关键的一环：当光源移动，人物、物体与阴影应协同响应。可控重光照由此成为探索视频模型物理表达能力的切入点。
中国科学院大学、英国卡迪夫大学与可灵 AI 团队联合提出 JointLight [1]，一种面向人物视频的可控重光照方法。给定输入视频和目标环境光，模型在尽量保留人物外观、动作与场景结构的同时调整光影。它将几何先验融入生成，让 RGB 与辐照度共同生成、相互修正，支持光照方向、强度与色彩控制，为视频模型的可控物理表达提供一种实现方式。相关工作发表于 SIGGRAPH Asia 2026。
论文标题：JointLight: Human-Centric Video Relighting with Asynchronous RGB-Irradiance Joint Modeling
项目主页：http://www.geometrylearning.com/JointLight
代码链接：https://github.com/IGLICT/JointLight
图 1：同一视频在不同目标光照下的结果。左列为输入，中、右列为重光照结果；小球表示环境光，小图为辐照度结果。
JointLight 支持静态与动态目标环境光，仅用合成数据进行重光照任务微调后，即可应用于真实视频；在论文的动态光照评估中，三项质量指标均优于参与比较的方法。如图 1 所示，无论是夜晚的街灯还是下午的日光，人像和场景都能得到准确可控的光照渲染结果。
Part 1 研究背景
重光照要求模型理解光源、几何、材质与遮挡之间的关系：改变照明后，人物与场景的明暗、阴影应随之变化，同时保留原有外观和动作。这也是视频模型表达物理世界的重要能力。传统渲染依赖准确的几何与材质信息，但普通视频难以提供完整三维结构，复杂人物场景的重建与采集成本也较高。
扩散模型降低了重光照的输入门槛。IC-Light [2] 等方法展示了生成式光照编辑的潜力，但仅依靠文本或环境光条件，精确控制光源方向与阴影仍有难度。DiffusionRenderer [3] 与 UniRelight [4] 进一步支持环境贴图驱动的重光照，却仍需网络隐式推断光如何作用于场景；面对复杂遮挡和人物运动，局部受光关系可能偏离目标照明，较简单的合成训练场景也限制了真实场景泛化。
DiLightNet [5]、PractiLight [6] 等方法引入粗糙几何渲染的光照线索，但深度误差、边界缺口会造成明暗偏差，直接作为控制条件可能将伪影传入结果。视频还需保持跨帧光影连贯，逐帧几何误差会进一步增加闪烁风险。因此，关键在于利用几何提供的有效受光信息，同时允许模型修正不可靠的细节，这正是 JointLight 的出发点。
Part 2 算法原理
JointLight 的核心思路是将物理渲染的受光依据与视频模型的生成能力结合。整个框架围绕两个关键设计展开：先把目标环境光变成与画面对齐的辐照度线索，再通过异步联合建模，让画面与线索在生成过程中共同完善。
用几何先验提供光照依据
光照控制首先需要回答「哪里该亮、哪里该暗」。JointLight 用 HDR 环境贴图记录周围各个方向光线的颜色与强度，再从输入视频逐帧估计单目点云并转成网格，剔除跨越深度不连续区域的三角面片。随后，为网格赋予统一的白色漫反射材质，用 Mitsuba 3 [9] 在目标环境光下渲染，得到与画面对齐的粗糙辐照度图。然而，构造的粗糙辐照度存在许多瑕疵，直接作为光照控制条件容易引入误差。
图 2：RGB、GT 辐照度与粗糙辐照度对比。几何误差会使粗糙辐照度偏离真实明暗关系。
如图 2 所示，相比真实辐照度，粗糙辐照度中的发丝、衣褶和树叶细节有所丢失，人物边缘出现黑色缺口，局部明暗也存在偏差。若将这些结果直接作为固定控制条件，模型可能把缺口和错误明暗带入生成画面，形成黑边、伪阴影或细节损失；视频中，逐帧几何误差的变化还可能引发光影闪烁。因此，JointLight 将粗糙辐照度作为可修正的线索，实际训练中使用真实辐照度作为生成目标。
让视频与辐照度共同生成
JointLight 基于 Wan2.2-TI2V-5B [7] 视频生成模型微调，将输入视频、带噪 RGB 视频和带噪辐照度视频送入同一个扩散 Transformer。模型一边生成重光照画面，一边细化受光分布，两种模态在空间和时间上对应，并在同一模型内交换信息。
图 3：联合训练流程。RGB 与辐照度使用独立的噪声时间步，并在同一模型中交换信息。
这里的「异步」，指 RGB 与辐照度可以处于不同的去噪进度。训练时分别采样两种模态的噪声时间步，让模型学会在画面与受光线索清晰程度不同时仍能配合。这样，辐照度不必始终作为一张完全可靠的条件图，而可以参与生成并被逐步修正。
若直接将粗糙辐照度作为条件，难以准确还原目标光照；而仅加入 RGB 与辐照度联合建模，也不足以消除粗糙线索与真实辐照度之间的差距。为了适应真实视频，训练还加入了域匹配技术：在第二阶段，随机用带噪的粗糙线索替换带噪真值，让模型提前接触推理时的几何误差。加入适量噪声，可以减弱高频伪影，同时保留大尺度明暗关系；联合建模则让模型根据输入内容与目标照明补充、修正局部细节。
图 4：推理流程。估计几何、渲染辐照度并加噪后，通过异步采样生成重光照结果。
推理时，带噪辐照度从一开始就参与引导，但先保持固定，由 RGB 分支去噪；到预设时间步后，两者再共同去噪。这样一来，模型能有效利用几何先验下粗糙辐照度线索中的低频光照分布，并通过加噪减缓高频瑕疵的负面影响。
高质量合成数据帮助 Sim2Real 迁移泛化
团队用 Unreal Engine 5 [10] 固定场景、人物与动作，只改变照明，同步渲染 RGB 与真值辐照度，获得真实拍摄难以采集的配对数据。逼真的画面与多样化场景有助于缩小合成与真实域的差距。
数据集含 6,800 个动态场景、68,000 条视频，覆盖 30 个室内外环境、60 个角色、600 段身体动画、20 种表情及 821 张 HDR 环境贴图。每场景采用 10 种照明，20% 包含旋转光照。多样化组合让模型学习更多光照关系。
基于这套管线，我们另外构建 SynthStatic 与 SynthDynamic 两个测试基准，分别采用固定和旋转的目标环境光，为动态场景重光照提供配对真值，用于评估光照控制精度与生成质量。
图 5：多样化合成场景提供配对 RGB 和辐照度，支持向真实视频迁移。
Part 3 效果展示
静态光照：兼顾光照准确性与外观保留
重光照既需要响应目标照明，也需要保留人物身份、衣物纹理和场景内容。DiffusionRenderer 与 UniRelight 能更好地响应光照方向和颜色，但在部分复杂场景中仍出现皮肤、衣物质感失真或局部受光不准确的问题。JointLight 通过辐照度线索明确场景中的受光关系，在调整照明的同时较好地保留原有外观。在 SynthStatic 测试中，其 PSNR 达到 16.62 dB、LPIPS 为 0.251，均为参与比较方法中的最佳；SSIM 为 0.656，略低于 UniRelight 的 0.661。
图 6：静态光照对比。
为进一步检验迁移效果，我们在未参与训练的 HumanOLAT [8] 真实采集数据上进行静态图像评估。JointLight 的 PSNR、SSIM 和 LPIPS 分别为 23.89 dB、0.928 和 0.078，均为参与比较方法中的最佳。
表 1：HumanOLAT 静态图像重光照结果。
动态光照：随目标光照连续调整光影
当人物运动与光源变化同时发生，模型需要持续更新受光方向、阴影和局部明暗，控制难度进一步增加。实验通过旋转目标环境光，检验生成结果能否随照明变化作出连贯响应。在 SynthDynamic 测试中，JointLight 的 PSNR、SSIM 和 LPIPS 分别达到 16.39 dB、0.631 和 0.263，三项指标均优于参与比较的方法。相较 UniRelight，PSNR 提高 1.49 dB，LPIPS 降低 0.040。结合视频对比，这说明显式辐照度引导有助于模型在目标光照随时间变化时保持控制能力。
图 7：动态光照对比。
表 2：SynthDynamic 动态光照测试结果。
更多结果
辐照度既提供光照控制依据，也帮助观察模型如何调整场景的受光分布。通过异步联合建模像素与辐照度，模型在生成重光照视频的同时也能产出精细化的辐照度。
图 8：Shading 示意。依次为输入、重光照结果、辐照度图与目标环境光。
显式的光照控制融入几何先验，使得视频的光影更精准可控、更符合真实规律，尤其是在太阳等直射光下。
图 9：更多结果。
Part 4 结语
视频生成正在从追求画面的视觉逼真，走向对场景物理关系的可控表达。光照是连接三维场景与二维影像的重要纽带：它揭示物体的形状与材质，也决定人物与环境如何在视觉上融为一体。要让生成模型按照创作者的意图改变光影，就需要把光源、几何与遮挡之间的关系纳入生成过程。JointLight 通过几何先验构造受光依据，借助异步 RGB 与辐照度联合建模和域匹配，让模型在生成画面的同时修正光照线索，将物理渲染的可解释性与视频生成的表达能力结合起来，为精确控制动态场景中的光影提供了一条路径。
给定一段输入视频和目标环境光，JointLight 即可重新组织人物与周围场景的明暗和阴影，让拍摄完成后的影像仍保有调整照明的创作空间。这为影视后期、数字人呈现和虚拟内容制作提供了更灵活的光影编辑方式，也展示了几何先验参与生成建模的价值：即使三维信息并不完美，它仍能成为约束生成、引导物理关系的有效依据。随着几何、材质与光传输被更深入地融入生成过程，视频模型有望支持更丰富的场景编辑，让创作者对影像的掌控从画面外观进一步延伸到形成画面的物理因素。
参考文献
[1] Henglei Lv, Bailin Deng, Xiaoqiang Liu, Yichen Wang, Haoxian Zhang, Pengfei Wan, Lin Gao*. JointLight: Human-Centric Video Relighting with Asynchronous RGB-Irradiance Joint Modeling. SIGGRAPH Asia, 2026.
[2] Lvmin Zhang, Anyi Rao, Maneesh Agrawala. Scaling In-the-Wild Training for Diffusion-based Illumination Harmonization and Editing by Imposing Consistent Light Transport. ICLR, 2025.
[3] Ruofan Liang, Zan Gojcic, Huan Ling, Jacob Munkberg, Jon Hasselgren, Chih-Hao Lin, Jun Gao, Alexander Keller, Nandita Vijaykumar, Sanja Fidler, Zian Wang. DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models. CVPR, 2025: 26069–26080.
[4] Kai He, Ruofan Liang, Jacob Munkberg, Jon Hasselgren, Nandita Vijaykumar, Alexander Keller, Sanja Fidler, Igor Gilitschenski, Zan Gojcic, Zian Wang. UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting. arXiv:2506.15673, 2025.
[5] Chong Zeng, Yue Dong, Pieter Peers, Youkang Kong, Hongzhi Wu, Xin Tong. DiLightNet: Fine-grained Lighting Control for Diffusion-based Image Generation. SIGGRAPH, 2024: 1–12.
[6] Yotam Erel, Rishabh Dabral, Vladislav Golyanik, Amit H. Bermano, Christian Theobalt. PractiLight: Practical Light Control Using Foundational Diffusion Models. ACM TOG, 44(6), 2025: 1–11.
[7] Team Wan, Ang Wang, Baole Ai, Bin Wen, Chaojie Mao, Chen-Wei Xie, Di Chen, Feiwu Yu, Haiming Zhao, Jianxiao Yang, Jianyuan Zeng, Jiayu Wang, Jingfeng Zhang, Jingren Zhou, Jinkai Wang, Jixuan Chen, Kai Zhu, Kang Zhao, Keyu Yan, Lianghua Huang, Mengyang Feng, Ningyi Zhang, Pandeng Li, Pingyu Wu, Ruihang Chu, Ruili Feng, Shiwei Zhang, Siyang Sun, Tao Fang, Tianxing Wang, Tianyi Gui, Tingyu Weng, Tong Shen, Wei Lin, Wei Wang, Wei Wang, Wenmeng Zhou, Wente Wang, Wenting Shen, Wenyuan Yu, Xianzhong Shi, Xiaoming Huang, Xin Xu, Yan Kou, Yangyu Lv, Yifei Li, Yijing Liu, Yiming Wang, Yingya Zhang, Yitong Huang, Yong Li, You Wu, Yu Liu, Yulin Pan, Yun Zheng, Yuntao Hong, Yupeng Shi, Yutong Feng, Zeyinzi Jiang, Zhen Han, Zhi-Fan Wu, Ziyu Liu. Wan: Open and Advanced Large-Scale Video Generative Models. arXiv:2503.20314, 2025.
[8] Timo Teufel, Pulkit Gera, Xilong Zhou, Umar Iqbal, Pramod Rao, Jan Kautz, Vladislav Golyanik, Christian Theobalt. HumanOLAT: A Large-Scale Dataset for Full-Body Human Relighting and Novel-View Synthesis. ICCV, 2025: 29131–29141.
[9] Wenzel Jakob and Sébastien Speierer and Nicolas Roussel and Merlin Nimier-David and Delio Vicini and Tizian Zeltner and Baptiste Nicolet and Miguel Crespo and Vincent Leroy and Ziyi Zhang. Mitsuba 3 renderer. https://mitsuba-renderer.org.
[10] Unreal Engine 5. https://www.unrealengine.com/unreal-engine-5.
