大家好，今天给大家分享一个开源人像动画生成框架 LivePortrait，旨在通过先进的隐式关键点技术，将静态肖像转化为高精度、可控的动态视频，大幅降低数字内容创作门槛。

项目概述

LivePortrait 是由快手科技联合中国科学技术大学和复旦大学研发的AI驱动肖像动画工具。它突破传统基于扩散模型的局限，采用隐式关键点框架，通过单张源图像和驱动视频（或音频/文本），生成逼真的面部表情与头部运动视频。项目开源了全部代码与预训练模型，支持本地部署与在线体验，广泛应用于数字人、影视制作等领域。

项目特点

  1. 高效生成能力

    • 实时渲染：在RTX 4090 GPU上单帧生成仅需12.8毫秒，经TensorRT优化后可降至10毫秒以下，满足直播等实时需求。
    • 混合训练策略：结合6,900万高质量图像与视频帧训练，提升模型泛化能力。

  2. 精准控制与多风格支持

    • 局部重定向：独立调节眼睛注视方向、嘴唇开合度，实现微表情同步（如语音口型匹配）。
    • 多风格适配：支持现实主义、油画、雕塑、3D渲染等多种艺术风格，甚至可扩展至动物肖像（如猫、狗）。

  3. 技术创新

    • 隐式关键点框架：将面部运动编码为紧凑向量，替代传统显式标记，提升计算效率。
    • 双阶段训练：
      • 第一阶段训练基础模型（外观/运动提取器、扭曲模块）；
      • 第二阶段冻结基础模型，专注优化轻量级拼接与重定向模块（MLP网络），以极小开销增强可控性。

  4. 开源与易用性

    • 提供在线Demo（Hugging Face）、一键安装包（Windows/Linux）及完整GitHub代码，支持开发者定制化开发。

应用场景

场景类型 典型案例
社交媒体创作 静态照片转动态短视频，提升互动率（如TikTok趣味表情包）。
数字人与虚拟直播 生成虚拟主播，结合音频驱动口型同步，用于产品讲解或教学。
影视与广告 历史人物复活（老照片动态化）、广告角色表情定制。
艺术与教育 油画/雕塑作品动态化展示，教学视频中艺术家“亲临讲解”。

安装使用

安装

环境要求

  • 操作系统：Windows 10+/Ubuntu 20.04+
  • 硬件：NVIDIA GPU（≥6GB显存）、CUDA 11.1+。
  • 依赖：Python 3.9.18、FFmpeg（音视频处理）。

部署步骤

  1. 克隆代码与配置环境 

    git clone https://github.com/KwaiVGI/LivePortrait
conda create -n LivePortrait python=3.9.18
conda activate LivePortrait
pip install -r requirements.txt  # 国内用户可换清华源加速

  2. 下载预训练权重

    • 通过Git LFS从Hugging Face下载： 
           git lfs install
     git clone https://huggingface.co/KwaiVGI/LivePortrait pretrained_weights
     ```  
   - 或从[百度云](https://pan.baidu.com/s/1MGctWmNla_vZxDbEp2Dtzw?pwd=z5cn)手动下载。  

3. **启动服务**  
   - **命令行生成**：  
   
    ```bash
     python inference.py -s 源图片.jpg -d 驱动视频.mp4 -o 输出目录
    • Web可视化：
    python app.py  # 访问 http://127.0.0.1:8890

使用示例

1. 基础动画生成

  • 输入：上传静态人像（如自拍照） + 驱动视频（如说话视频）。
  • 操作：点击Animate，系统自动迁移驱动视频的表情与姿态到源图像。
  • 输出：生成1080P动态视频，支持下载或分享。

2. 高级控制

  • 眼睛重定向：调整参数使虚拟角色视线跟随观众移动。
  • 动物模式：上传熊猫图片 + 人类表情视频，生成“熊猫微笑”动画。

3. 专业制作流程

graph LR
A[输入文本脚本] --> B(音频合成)
B --> C[驱动口型生成]
C --> D[LivePortrait 生成数字人视频]
D --> E[FFmpeg 后期合成]

示例：企业宣传片自动生成数字人讲解员。

总结

LivePortrait 通过隐式关键点框架与轻量级控制模块，在肖像动画领域实现了质量、效率与控制力的三重突破。其开源属性降低了技术使用门槛，从个人创作者到专业团队均可快速部署。未来若结合3D骨骼驱动与跨模态生成（如文本直接生成表情），有望进一步拓展数字人应用的边界。

项目地址

https://github.com/KwaiVGI/LivePortrait