一站式高质量数字人动画框架——EchoMimic-V3本地部署教程: 13 亿参数实现统一多模态、多任务人体动画生成

一、介绍

EchoMimicV3 是蚂蚁集团在8月底开源的一款高效、多模态、多任务的数字人视频生成框架,凭借13亿参数的紧凑型视频扩散模型(CVDM),实现了在多种输入条件下快速生成高质量、强泛化能力的数字人动画,为数字人动画技术带来了重要突破。

image.png

二、部署过程

快速部署及使用方法,请通过文末卡片进入算家云,参考“镜像社区”。

基础环境最低要求说明:

环境名称版本信息
Ubuntu22.04
Cuda12.1.1
Python3.10
NVIDIA CorporationRTX 4090 D

1、在算家云构建基础镜像 Miniconda-Ubuntu-22.04-cuda12.1.1

image.png

2、更新系统

sudo apt update && sudo apt upgrade -y

更新过程中遇到下图的情况时,在命令行中输入“2”即可

image.png

3、创建虚拟环境

# 创建一个名为 echomimic_v3 的新虚拟环境,并指定 Python 版本为 3.10
conda create -n echomimic_v3 python=3.10 -y

等待安装完成

image.png

# 进入虚拟环境
conda activate echomimic_v3

4、从 github 仓库 克隆项目

# (如果下载速度过慢可以开启学术代理加速)
git clone https://github.com/antgroup/echomimic_v3.git

image.png

5、安装依赖

cd echomimic_v3

pip install -r requirements.txt

安装成功

image.png

6、模型准备

模型名称备注
Wan2.1-Fun-1.3B-InP基础模型
wav2vec2-base音频编码器
EchoMimicV3-preview权重

注意:由于Wan2.1-Fun-1.3B-InP和wav2vec2-base模型已经下载到堡垒机里面,所以这里不需要下载。之后在 app_mm.py文件中修改地址即可

6.1 下载权重

  • 创建目录

    cd echomimic_v3
    mkdir -p models
    
  • 下载元数据(不拉大文件)

    cd models
    GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/BadToBest/EchoMimicV3
    
  • 拉取大文件

    cd EchoMimicV3/transformer
    git lfs pull
    
  • 移动transformer文件夹

    mv /echomimic_v3/models/EchoMimicV3/transformer /echomimic_v3/models
    

7、编辑 app_mm.py文件

7.1 打开 app_mm.py文件,找到第82行左右

image.png

修改红框部分:

image.png

7.2 打开 app_mm.py文件,找到第326行左右

image.png

修改红框部分:

image.png

8、运行 app_mm.py文件

cd echomimic_v3

python app_mm.py --server_name 0.0.0.0 --server_port 8080

运行成功

image.png

三、网页演示

出现以下 Gradio 页面,即是模型已搭建完成。

image.png

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值