Champ

实现可控制且一致的人像动画生成，借助3D参数化指导。

主要特点：

• 高度可控制性：用户可以通过简单的参数调节，控制生成动画的各个方面。
• 一致性和稳定性：利用先进的算法确保动画过程中人物动作的自然过渡和一致性。
• 3D参数化指导：采用3D模型和参数作为输入，促进更准确的身体动作和表情模拟。

使用场景

Champ适用于多种场景，包括但不限于：

1. 电影和娱乐产业：为电影或视频游戏中的角色创造真实感人物动画。
2. 虚拟现实（VR）：创建VR环境中的互动人物。
3. 动画与视觉特效：提供一个快速和高效的途径，用于动画制作及视觉特效的增强。
4. 教育与培训：模拟人物动作，用于教育或培训软件，让教学内容更加生动。

如何使用

环境设置

1. 系统要求：Ubuntu20.04。
2. GPU要求：已在A100 GPU上测试。

首先，创建并激活conda环境：

conda create -n champ python=3.10
conda activate champ

接着，安装所需的依赖包：

pip install -r requirements.txt

下载预训练模型

1. 下载基础模型的预训练权重（如StableDiffusion V1.5，sd-vae-ft-mse，image_encoder）。
2. 下载Champ的检查点文件，这包括去噪UNet、指导编码器、参考UNet和动作模块等组件。

将这些预训练的模型组织如下所示：

./pretrained_models/
|-- champ
|...

进行推理

1. 下载例子数据并放置于example_data文件夹中。
2. 执行以下命令进行推理：

python inference.py --config configs/inference.yaml

生成的动画结果将保存在results文件夹中。用户可以通过修改inference.yaml文件，更换参考图像或者指导动作。

此外，还可以从任何视频中提取驱动动作，然后使用Blender进行渲染。后续将提供相关的指南和脚本。

注意

项目还处于早期阶段，关于具体的特性和性能可能会有更多的更新和优化，请密切关注项目的官方GitHub页面以获取最新信息。