[AI 快手 LivePortrait] 引领高效肖像动画新时代

快手推出了 LivePortrait，具有拼接和重定向控制的高效肖像动画。

快速开始

下载代码，准备环境

1
2
3
4
5
6
7
8


git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait

# create env using conda
conda create -n LivePortrait python==3.9.18
conda activate LivePortrait
# install dependencies with pip
pip install -r requirements.txt

下载预训练权重

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


pretrained_weights
├── insightface
│   └── models
│       └── buffalo_l
│           ├── 2d106det.onnx
│           └── det_10g.onnx
└── liveportrait
    ├── base_models
    │   ├── appearance_feature_extractor.pth
    │   ├── motion_extractor.pth
    │   ├── spade_generator.pth
    │   └── warping_module.pth
    ├── landmark.onnx
    └── retargeting_models
        └── stitching_retargeting_module.pth

推理

1
2
3
4


python inference.py

# 指定图片和驱动视频
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4

Gradio 接口

1

python app.py

推理速度评估

1

python speed.py

例子

试用了下，使用图片

dutch-girl

生成视频如下

感觉效果很不错！而且权重很小，600M左右。快手厉害了。

FAQ

ImportError: libGL.so.1: cannot open shared object file: No such file or directory

apt-get update && apt-get install ffmpeg libsm6 libxext6 -y