央视春晚任素汐演唱的《枕着光的她》的现场伴奏视频中，首次使用了AI生成的视频。作者海辛和Simon阿文在文章中详细讲解了背后制作过程&用到开源技术的全面复盘，以及现阶段制作AI生成视频会遇到的问题。
23 年年底，数字栩生的宋震老师邀请我和 @Simon阿文 ，加入春晚节目组一起制作了央视春晚任素汐演唱的《枕着光的她》中的 AI 视频，以下是 AI 视频完整段落。
挑战一双人舞中角色稳定性问题双人舞之所以会难做，是因为 AI 会将两个角色之间的特征进行混淆，所以经常会出现性别交换等问题。为了解决这个问题，我们尝试将单人先 roto 出来进行转绘，再进行双人合成。
但这个工作模式的问题很大，一是大量抠像需要工期太长；二是视频速度一旦上来，动态模糊后会带来大量抠像困难；三是合成后尤其肢体衔接处会不自然。我们最后还是回归双人直接转绘的方案，但是接入了 ControlNet tile 模型，让其参考原视频的角色细节特征，从而固定住角色特征。
挑战二瓷器材质的实现在项目刚开始时，我们进行了大量的材质探索。在 SDXL 和 Civitai 开源模型和 lora 的加持下，这并不算什么难题。
我们发现，SDXL 结合上 AnimateDiff 后，画面会因为过于追求稳定而折损大量细节，且在当时（去年12月份）几乎无解。
我们只能寄希望于生态更加完整的 SD1.5 ，但这也意味着我们失去了 SDXL 强大的生成能力……同样的 Prompt 在 SD1.5 里的效果是这样的：
本来以为得训练 SD1.5 的瓷器 LoRA，但峰回路转地，我们发现这其实是一个 “关键词” 就可以解决的问题。
除了关键词以外，我们还发现了一个 prompting “神器”：IPAdapter，用一张参考图来引导 AI 生成指定材质效果。
节目的设计是双人舞三个阶段变装，包括结婚、婚后、老年三个阶段。利用 AI 来实现丝滑的变装是重要的需求。
我们首先在 pr 里对齐了剪辑，在生成时通过 prompt travel 的方式（不同关键帧描述不同的内容）进行了实现。
需要提到的经验是，我们发现 prompt travel 只对比较短的视频有用，当生成帧数大于 800 帧以后，AI 就会开始不遵循关键词。所以分段小批量的进行转绘是让画面更加稳定符合预期的重点。
在攻克所有难题后，我们最终完成了这个作品，1200+帧左右在 Nvidia 4090下一共渲染了 4-5 小时。
四结语我们在整个项目的过程中成长了许多，熟悉了很多开源社区最新的技术，也探索了这些技术在具体项目中的可能性。同时也结识了很多开源社区的好朋友，特别感谢 Jerry Davos 毫无保留的工作流分享和技术指导！
Perplexity CEO 专访：拥有十万用户的套壳产品比拥有自有模型却没有用户更有意义
火遍硅谷的Arc浏览器，刚刚发布App和AI功能，体验碾压Chrome！
Cubox创始人的产品思考：不要把「总结全文」当做AI阅读产品的唯一亮点