Lucy 2 – Decart AI推出的实时视频生成模型

• 实时视觉转换：模型以 30fps、1080p 分辨率近零延迟持续生成画面，支持直播流中的即时编辑，无需预渲染。

• 多维度编辑：通过文本提示与参考图像实现角色替换、服装更换、产品植入、运动控制及全环境变换。

• 持久运行能力：借助 Smart History Augmentation 技术，可连续运行数小时而不出现身份崩塌、几何扭曲或纹理劣化。

• 机器人数据增强：作为实时模拟引擎，在保留物理一致性的前提下，实时改变材质、光照与环境，将单次真实演示扩展为数千种训练变体。

Lucy 2的技术原理

• 纯扩散架构：不依赖深度图、三维网格或显式物理引擎，所有视觉动力学完全通过观察视频演化自主学习。

• 涌现物理理解：模型从数据中隐式学习世界结构（如手指几何、布料褶皱、物体分离），无需人工定义拓扑规则。

• Smart History Augmentation：训练阶段暴露模型于自身不完美输出并施加惩罚，使其学会识别漂移主动校正，非盲目跟随前一帧。

• 硬件协同优化：针对 AWS Trainium3 深度定制，采用 mega-kernels 减少启动开销，用片上 SRAM 避免高带宽内存延迟，配合自定义 WebRTC 管道实现端到端实时传输。

Lucy 2的项目地址

• 项目官网：https://decart.ai/publications/lucy-2-introducing-sota-video-generation-in-realtime

• 在线体验Demo：https://lucy.decart.ai/

Lucy 2的应用场景

• 实时直播互动：主播可在直播中即时完成角色替换、虚拟试装或动态产品植入，无需后期制作可实时呈现多样化视觉效果。

• 现场内容创作：创作者能在拍摄现场通过文本提示实时调整画面风格与环境氛围，将后期环节前置实现所见即所得的即时视觉预览。

• 机器人训练增强：研发团队可实时改变物体材质、光照及背景环境，将单次真实操作录像扩展为数千种物理一致的多样化训练样本，解决数据稀缺问题。

• 虚拟制片仿真：制片团队可借助模型长时间稳定运行能力，实时生成交互式动态背景与环境模拟，直接替代传统的离线渲染制作流程。