项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 24342
使用教程
环境要求
- Git(需支持 --recursive 拉取子模块)
- 已安装 Conda / Miniconda
- Python 3.10
- 可访问 GitHub 与 pip 镜像源(README 使用阿里云镜像)
- 可选:NVIDIA GPU 与 Docker(用于服务化部署)
安装与启动步骤
-
1克隆仓库
使用 --recursive 一次性拉取主仓库及子模块,目录名默认为 CosyVoice。
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git -
2补齐子模块
若因网络问题子模块没拉全,进入目录后反复执行该命令直到成功。
cd CosyVoice git submodule update --init --recursive -
3创建 Conda 环境
新建名为 cosyvoice 的环境并指定 Python 3.10,需先自行安装 Miniconda。
conda create -n cosyvoice -y python=3.10 -
4安装依赖
激活环境后按 requirements.txt 安装依赖,README 使用阿里云镜像并信任该主机。
conda activate cosyvoice pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com -
5解决 sox 兼容问题
仅当遇到 sox 兼容问题时执行:Ubuntu 与 CentOS 命令不同,按系统二选一。
sudo apt-get install sox libsox-dev -
6运行示例脚本
按 example.py 中的用法体验各模型,README 推荐优先使用 Fun-CosyVoice3-0.5B。
python example.py -
7构建部署镜像
如需服务化部署,进入 runtime/python 目录构建镜像,镜像名为 cosyvoice:v1.0。
cd runtime/python docker build -t cosyvoice:v1.0 . -
8启动 gRPC/FastAPI 服务
用 NVIDIA runtime 启动容器并暴露 50000 端口,二选一启动 grpc 或 fastapi 服务端。
docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python/grpc && python3 server.py --port 50000 --max_conc 4 --model_dir iic/CosyVoice-300M && sleep infinity"
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--port | 是 | 服务监听端口,客户端需连接同一端口 | 50000 |
--max_conc | 否 | gRPC 服务端最大并发数 | 4 |
--model_dir | 是 | 指定加载的模型目录或 ModelScope 模型名 | iic/CosyVoice-300M |
--mode | 是 | 客户端调用模式:sft、zero_shot、cross_lingual、instruct | zero_shot |
python | 是 | Conda 环境所用 Python 版本 | 3.10 |
如何确认成功
本地运行 python example.py 无报错即安装成功;服务化部署可用 docker ps 看到容器运行,并通过 client.py 连接 50000 端口触发合成。
常见问题
Q:克隆时子模块没拉下来怎么办?
A:进入 CosyVoice 目录后执行 git submodule update --init --recursive,若因网络失败可重复执行直到成功。
Q:安装依赖时报 sox 兼容错误怎么办?
A:Ubuntu 执行 sudo apt-get install sox libsox-dev;CentOS 执行 sudo yum install sox sox-devel。
Q:应该选哪个模型版本?
A:README 强烈推荐使用 Fun-CosyVoice3-0.5B,其内容一致性、音色相似度与韵律自然度优于 CosyVoice 2.0。
Q:vLLM 对版本有要求吗?
A:支持 vLLM 0.11.x+(V1 engine)与 0.9.0(legacy);低于 0.9.0 不支持推理,0.10.x 等中间版本未测试。
注意事项
- 运行示例前务必先 conda activate cosyvoice 激活环境。
- docker run 使用 --runtime=nvidia,需具备 NVIDIA 容器运行环境。
- vLLM 依赖要求较多,建议用 conda create -n cosyvoice_vllm --clone cosyvoice 克隆新环境以免污染原环境。
- 训练与推理的高级脚本位于 examples/libritts 目录,TensorRT-LLM 加速部署见 runtime/triton_trtllm。
核心亮点
- 多语言支持,覆盖中英日粤等语种,跨语言语音生成能力强
- 提供推理、训练、部署全栈能力,适合从研究到生产的完整链路
- 细粒度语音控制与微调能力,支持自定义音色和风格
不足之处
- 文档/社区待观察,部分高级功能(如微调)使用门槛较高
- 模型体积大,推理资源消耗较高,轻量化部署需额外优化
适用场景
- 多语言语音合成与配音,如影视、游戏本地化
- 智能助手与聊天机器人的语音交互,提升自然度
- 个性化音色定制,如虚拟主播、有声书制作
替代项目
ChatTTS、XTTS (Coqui)、Bark (Suno)
上一篇:没有了!
下一篇:GPT-SoVITS
同类项目推荐
orpheus-tts-local
开源
用 LM Studio 在本地跑 Orpheus 3B,免费生成自然语音
Run Orpheus 3B Locally With LM Studio
molecular-music-generator
开源
把分子结构变成旋律,自动生成实验音乐
Application that generates musical compositions from algorithmically generated patte···
noise-suppression-for-voice
开源
给麦克风加实时 AI 降噪,人声更干净
Noise suppression plugin based on Xiph's RNNoise
AutoVocoder
开源
用可微信号处理,快速生成高质量语音波形
Autovocoder: Fast Waveform Generation from a Learned Speech Representation using Dif···
TwitterPiBot
开源
让树莓派实时朗读指定话题的新推文
A Python based bot for Raspberry Pi that grabs tweets with a specific hashtag and re···
AndroidMaryTTS
开源
在 Android 上离线生成语音,保护隐私且支持自定义声音。
Android MARY TTS - an open-source, offline HMM-Based text-to-speech synthesis system···
RealtimeTTS
开源
实时把文字变语音,低延迟流式输出,轻松集成各种 TTS 引擎。
Converts text to speech in realtime
vae_tacotron2
开源
用VAE隐变量控制语音风格,让TTS更自然有表现力
VAE Tacotron 2, an alternative of GST Tacotron
JamBot
开源
用 Python 自动化音乐制作,快速生成混音灵感。
