talk-to-fengge

克隆声音性格,1秒内实时对话

开源 🏷️定价信息待确认 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 96 🐛 待处理 7 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 501
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

talk-to-fengge 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队YeJe-cpu
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型chinese-ai,fengge,livekit,persona-ai,real-time-voice,stt,tts,voice-cloning,voxcpm
GitHub 星标★ 501
上线时间2026-06-25 00:00:00
代码更新2026-07-11
仓库体积3.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

这是一个基于实时语音技术的声音与性格克隆项目,旨在让用户与任何人的数字分身进行自然对话。它解决了传统语音助手缺乏个性化和真实感的问题,通过克隆目标人物的音色和说话风格,并整合STT、TTS和实时通信技术,实现了工程延迟低于1秒的实时语音交互。项目核心能力包括声音克隆、性格模拟、低延迟通话以及可扩展的实时语音管道,支持中文环境,适合构建个性化语音助手、虚拟偶像互动或沉浸式角色扮演体验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 501

技术标签

使用教程

难度:高级 约 90 分钟 部署方式:本地GPU 5 步

环境要求

  • CUDA 显卡
  • 实时通信服务
  • 模型凭据

安装与启动步骤

  1. 1拉仓库

    它把实时语音对话的几个组件串起来。

    git clone https://github.com/YeJe-cpu/talk-to-fengge.git
  2. 2装实时通信组件

    语音链路依赖一个实时通信服务。

    brew install livekit
  3. 3跑部署脚本

    首次会下模型,耗时较长。

    bash runpod_setup.sh
  4. 4按终端顺序起服务

    它把流程拆成几个终端分别起。

    LLM_PROVIDER=minimax python -m worker.main start
  5. 5起网页服务

    最后一个终端起界面。

    python -m worker.web_server

如何确认成功

能完成一次端到端语音对话,延迟在一秒左右且被打断时能立刻停止播报

注意事项

  • 它做的是实时语音对话,声音与语气都来自克隆,不是简单文字转语音。
  • 流程拆成多个终端分别起,少一个链路就断。
  • 首次跑要下模型,时间要留够。
  • **克隆他人声音涉及人格权与肖像权,公开使用必须取得授权。**

核心亮点

  • 工程延迟低于1秒,对话流畅无卡顿
  • 支持声音与性格双重克隆,交互更具个性
  • 基于LiveKit等成熟技术栈,实时通信稳定

不足之处

  • 早期项目,文档和社区支持待观察
  • 声音克隆效果依赖输入样本质量,可能不稳定

适用场景

  • 个性化语音助手定制
  • 虚拟偶像或角色实时互动
  • 沉浸式语音聊天应用

替代项目

OpenVoice、ChatTTS、Coqui TTS

上一篇:xttsv2-vllm-streaming-server

下一篇:jpreprocess

同类项目推荐

DiffGAN-TTS 开源

用扩散+GAN,几步生成高保真语音,又快又真

PyTorch Implementation of DiffGAN-TTS: High-Fidelity and Efficient Text-to-Speech wi···

★ 351 2026-08-09
react-speech-highlight-demo 开源

让文字跟着语音走,边听边读不迷路

React / Vanilla JS Text to Speech with highlighting the words and sentences that are···

★ 189 2026-08-09
ComfyUI-VoxCPM2 开源

在 ComfyUI 里直接做多语言语音合成和克隆,还能训练 LoRA

VoxCPM2 TTS for ComfyUI. 30 languages, voice design, controllable cloning, 48kHz aud···

★ 205 2026-08-09
Bert-VITS2-MNN 开源

把 Bert-VITS2 塞进手机,离线也能自然发声

A practical on-device BertVITS2 runtime for Android, powered by alibaba-MNN engine···

★ 163 2026-08-09
Parallel-Tacotron2 开源

让语音合成告别逐字生成,并行提速数十倍

PyTorch Implementation of Google's Parallel Tacotron 2: A Non-Autoregressive Neural ···

★ 191 2026-08-09
CoMoSpeech 开源

一步合成语音和歌声,告别扩散模型慢速采样

ACM MM 2023 CoMoSpeech: One-Step Speech and Singing Voice Synthesis via Consistency ···

★ 215 2026-08-09
csm-voice-cloning 开源

上传几秒音频,快速克隆音色并生成自然语音

Sesame CSM 1B Voice Cloning

★ 339 2026-08-09
pflowtts_pytorch 开源

用 flow matching 快速生成自然语音,复现 NVIDIA 论文效果

Unofficial implementation of NVIDIA P-Flow TTS paper

★ 228 2026-08-09
ACE-Step-1.5 开源

本地跑文本生成音乐,Mac/AMD/Intel 都能用

The most powerful local music generation model that outperforms almost all commercia···

★ 14561 2026-10-02