6月11日消息，腾讯混元团队联合中山大学、香港科技大学发布了一款全新的图生视频模型，名为"Follow-Your-Pose-v2"。这一模型在视频生成领域实现了从单人到多人的跨越，能够处理人物合照，让所有人都能同时在视频中动起来。
这一模型的主要亮点在于支持多人视频动作生成，实现了从单人到多人的跨越。而且具有强泛化能力，无论年龄、服装、人种、背景杂乱程度或动作复杂性如何，都能生成高质量视频。而且模型训练及生成可以使用日常生活照（包括抓拍）或视频，无需寻找高质量图片/视频。
在技术实现方面，模型利用"光流指导器"引入背景光流信息，即使在相机抖动或背景不稳定的情况下，也能生成稳定背景动画。通过"推理图指导器"和"深度图指导器"，模型能更好地理解图片中的人物空间信息和多角色的空间位置关系，有效解决多角色动画和身体遮挡问题。
评估与比较结果显示，"Follow-Your-Pose-v2"在两个公共数据集（TikTok和TED演讲）和7个指标上的性能均优于最新技术35%以上。
腾讯混元团队还公布了文生图开源大模型（混元DiT）的加速库，大幅提升推理效率，生图时间缩短75%。混元DiT模型的使用门槛降低，用户可以在Hugging Face的官方模型库中用三行代码调用模型。据悉，图像到视频生成技术在电影内容制作、增强现实、游戏制作及广告等多个行业有着广泛的应用前景，是2024年备受关注的AI技术之一。
