LiveTalking

让数字人边听边说，口型跟得上，直播聊天不冷场

LiveTalking 是一个面向实时交互场景的开源数字人项目，主打流式生成和低延迟对话。它通过音频驱动口型同步，结合 NeRF 三维重建与渲染技术，让虚拟形象在说话时嘴唇动作自然贴合语音，并支持边接收音频边生成视频，实现接近实时的对话反馈。项目集成了 Wav2Lip、MuseTalk、ER-NeRF 等多种主流口型同步和数字人渲染方案，开发者可以根据实际场景灵活选用。它解决的核心问题是传统数字人生成延迟高、交互感差、难以用于直播或实时客服等场景的痛点。LiveTalking 用 Python 实现，技术栈集中在 AIGC 数字人领域，适合用于虚拟主播、在线教育、智能客服等需要即时响应和自然口型表现的产品原型或轻量级部署。