字数 744，阅读大约需 4 分钟
Light-A-Video：无需训练，开启视频重新打光新时代
在人工智能领域，图像重光照技术借助大规模数据集与预训练扩散模型，已取得显著进展，一致性光照应用愈发普遍。然而，视频重光照领域因训练成本高昂，且缺乏多样化、高质量的视频重光照数据集，发展步伐相对迟缓。传统将图像重光照模型逐帧应用于视频的方式，引发了光源不一致、重光照外观不一致等问题，致使生成视频出现闪烁现象。近日，一项名为Light-A-Video的创新技术出现，它无需训练，就能实现时间上平滑的视频重光照。
Light-A-Video的技术突破
Light-A-Video借鉴图像重光照模型，并引入两个关键模块，增强光照一致性。
一致光注意力（Consistent Light Attention，CLA）模块
自注意力机制在处理序列数据时性能强大，CLA模块在此基础上，增强自注意力层内的跨帧交互，稳定背景光源的生成。比如在复杂视频场景中，物体运动时，CLA模块可确保背景光照不会突兀变化，避免闪烁。
线性融合策略
基于光传输独立性的物理原理，研究团队采用渐进光融合（Progressive Light Fusion，PLF）策略，将源视频的外观与重光照外观进行混合。这种基于物理原理的策略，能确保光照在时间上平滑过渡。例如视频场景从白天过渡到夜晚，PLF策略可使光照变化自然流畅。
Light-A-Video的实验成果
在实际实验中，Light-A-Video性能卓越。据麻省理工学院计算机科学与人工智能实验室测试，Light-A-Video显著改善了重光照视频的时间一致性，同时保持图像质量。对比实验中，传统方法处理的视频时间一致性得分较低，而Light-A-Video处理后的视频时间一致性得分大幅提升。在图像质量方面，经专业图像质量评估工具（如PSNR、SSIM等）测试，Light-A-Video处理后的视频保持较高水平，确保跨帧的光照过渡一致。
Light-A-Video的框架解析
Light-A-Video框架对源视频的处理严谨精妙。首先对源视频进行噪声处理，类似编程中对数据进行预处理。然后，源视频经过VDM模型逐步去噪。每一步中，预测的无噪声组件代表VDM的去噪方向，并作为一致目标。在此基础上，一致光注意力模块注入独特光照信息，转变为重光照目标。最后，渐进光融合策略将两个目标合并，形成融合目标，为当前步骤提供更精细方向。各个模块协同工作，实现高质量的视频重光照效果。
