又强悍了!以前的AI角色动画基本上是对人的,这个还能适用于所有角色!#ai##科技#
具有增强运动表现的通用角色图像动画
Animate-X: Universal Character Image Animation with Enhanced Motion Representation
角色形象动画是一种从参考图像和目标姿势序列生成高质量视频的方法,大多数现有方法仅适用于人体,而这些方法通常不能很好地推广到游戏和娱乐等行业中常用的拟人化角色。
深入分析表明,这种限制是由于它们对运动的建模不足,无法理解源视频的运动模式,从而将姿势序列僵硬地强加到目标角色身上。
该研究提出了 Animate-X,这是一个基于 LDM 的通用动画框架,适用于各种角色类型(统称为 X),包括拟人化角色。为了增强运动表现,我们引入了姿势指示器,它通过隐式和显式的方式从驾源视频中捕获全面的运动模式。前者利用源视频的 CLIP 视觉特征来提取其运动要点,例如整体运动模式和运动之间的时间关系,而后者通过提前模拟推理过程中可能出现的输入来增强 LDM 的泛化能力。
项目:huggingface.co/papers/2410.10306
ChatGPT 黄建同学的微博视频
具有增强运动表现的通用角色图像动画
Animate-X: Universal Character Image Animation with Enhanced Motion Representation
角色形象动画是一种从参考图像和目标姿势序列生成高质量视频的方法,大多数现有方法仅适用于人体,而这些方法通常不能很好地推广到游戏和娱乐等行业中常用的拟人化角色。
深入分析表明,这种限制是由于它们对运动的建模不足,无法理解源视频的运动模式,从而将姿势序列僵硬地强加到目标角色身上。
该研究提出了 Animate-X,这是一个基于 LDM 的通用动画框架,适用于各种角色类型(统称为 X),包括拟人化角色。为了增强运动表现,我们引入了姿势指示器,它通过隐式和显式的方式从驾源视频中捕获全面的运动模式。前者利用源视频的 CLIP 视觉特征来提取其运动要点,例如整体运动模式和运动之间的时间关系,而后者通过提前模拟推理过程中可能出现的输入来增强 LDM 的泛化能力。
项目:huggingface.co/papers/2410.10306
ChatGPT 黄建同学的微博视频