CosyVoice

输入文字就能生成多语种配音,一天的工作十分钟搞定

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 2777 🐛 待处理 640 👀 关注 135
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 24342
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用、训练和部署,无付费版本。

项目预览

CosyVoice 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队QwenAudio
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用、训练和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio-generation,cantonese,chatbot,chatgpt,chinese,cosyvoice,cross-lingual,english,fine-grained,fine-tuning,gpt-4o,japanese,korean,multi-lingual,natural-language-generation,python,text-to-speech,tts,voice-cloning
GitHub 星标★ 24342
上线时间2024-07-03 00:00:00
代码更新2026-05-25
仓库体积2.7 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

阿里通义实验室开源的多语言大规模语音生成模型,提供推理、训练与部署全栈能力。支持零样本语音克隆与跨语种语音合成,音色自然流畅,是构建语音助手、智能配音与内容创作应用的理想基座。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 24342

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 8 步

环境要求

  • Git(需支持 --recursive 拉取子模块)
  • 已安装 Conda / Miniconda
  • Python 3.10
  • 可访问 GitHub 与 pip 镜像源(README 使用阿里云镜像)
  • 可选:NVIDIA GPU 与 Docker(用于服务化部署)

安装与启动步骤

  1. 1克隆仓库

    使用 --recursive 一次性拉取主仓库及子模块,目录名默认为 CosyVoice。

    git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
  2. 2补齐子模块

    若因网络问题子模块没拉全,进入目录后反复执行该命令直到成功。

    cd CosyVoice
    git submodule update --init --recursive
  3. 3创建 Conda 环境

    新建名为 cosyvoice 的环境并指定 Python 3.10,需先自行安装 Miniconda。

    conda create -n cosyvoice -y python=3.10
  4. 4安装依赖

    激活环境后按 requirements.txt 安装依赖,README 使用阿里云镜像并信任该主机。

    conda activate cosyvoice
    pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
  5. 5解决 sox 兼容问题

    仅当遇到 sox 兼容问题时执行:Ubuntu 与 CentOS 命令不同,按系统二选一。

    sudo apt-get install sox libsox-dev
  6. 6运行示例脚本

    按 example.py 中的用法体验各模型,README 推荐优先使用 Fun-CosyVoice3-0.5B。

    python example.py
  7. 7构建部署镜像

    如需服务化部署,进入 runtime/python 目录构建镜像,镜像名为 cosyvoice:v1.0。

    cd runtime/python
    docker build -t cosyvoice:v1.0 .
  8. 8启动 gRPC/FastAPI 服务

    用 NVIDIA runtime 启动容器并暴露 50000 端口,二选一启动 grpc 或 fastapi 服务端。

    docker run -d --runtime=nvidia -p 50000:50000 cosyvoice:v1.0 /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python/grpc && python3 server.py --port 50000 --max_conc 4 --model_dir iic/CosyVoice-300M && sleep infinity"

关键配置

配置项必填说明示例
--port是服务监听端口,客户端需连接同一端口50000
--max_conc否gRPC 服务端最大并发数4
--model_dir是指定加载的模型目录或 ModelScope 模型名iic/CosyVoice-300M
--mode是客户端调用模式:sft、zero_shot、cross_lingual、instructzero_shot
python是Conda 环境所用 Python 版本3.10

如何确认成功

本地运行 python example.py 无报错即安装成功;服务化部署可用 docker ps 看到容器运行,并通过 client.py 连接 50000 端口触发合成。

常见问题

Q:克隆时子模块没拉下来怎么办?

A:进入 CosyVoice 目录后执行 git submodule update --init --recursive,若因网络失败可重复执行直到成功。

Q:安装依赖时报 sox 兼容错误怎么办?

A:Ubuntu 执行 sudo apt-get install sox libsox-dev;CentOS 执行 sudo yum install sox sox-devel。

Q:应该选哪个模型版本?

A:README 强烈推荐使用 Fun-CosyVoice3-0.5B,其内容一致性、音色相似度与韵律自然度优于 CosyVoice 2.0。

Q:vLLM 对版本有要求吗?

A:支持 vLLM 0.11.x+(V1 engine)与 0.9.0(legacy);低于 0.9.0 不支持推理,0.10.x 等中间版本未测试。

注意事项

  • 运行示例前务必先 conda activate cosyvoice 激活环境。
  • docker run 使用 --runtime=nvidia,需具备 NVIDIA 容器运行环境。
  • vLLM 依赖要求较多,建议用 conda create -n cosyvoice_vllm --clone cosyvoice 克隆新环境以免污染原环境。
  • 训练与推理的高级脚本位于 examples/libritts 目录,TensorRT-LLM 加速部署见 runtime/triton_trtllm。

核心亮点

  • 多语言支持,覆盖中英日粤等语种,跨语言语音生成能力强
  • 提供推理、训练、部署全栈能力,适合从研究到生产的完整链路
  • 细粒度语音控制与微调能力,支持自定义音色和风格

不足之处

  • 文档/社区待观察,部分高级功能(如微调)使用门槛较高
  • 模型体积大,推理资源消耗较高,轻量化部署需额外优化

适用场景

  • 多语言语音合成与配音,如影视、游戏本地化
  • 智能助手与聊天机器人的语音交互,提升自然度
  • 个性化音色定制,如虚拟主播、有声书制作

替代项目

ChatTTS、XTTS (Coqui)、Bark (Suno)

上一篇:没有了!

下一篇:GPT-SoVITS

同类项目推荐

orpheus-tts-local 开源

用 LM Studio 在本地跑 Orpheus 3B,免费生成自然语音

Run Orpheus 3B Locally With LM Studio

★ 552 2026-08-09
molecular-music-generator 开源

把分子结构变成旋律,自动生成实验音乐

Application that generates musical compositions from algorithmically generated patte···

★ 104 2026-08-09
AutoVocoder 开源

用可微信号处理,快速生成高质量语音波形

Autovocoder: Fast Waveform Generation from a Learned Speech Representation using Dif···

★ 71 2026-08-09
TwitterPiBot 开源

让树莓派实时朗读指定话题的新推文

A Python based bot for Raspberry Pi that grabs tweets with a specific hashtag and re···

★ 88 2026-08-09
AndroidMaryTTS 开源

在 Android 上离线生成语音,保护隐私且支持自定义声音。

Android MARY TTS - an open-source, offline HMM-Based text-to-speech synthesis system···

★ 200 2026-08-09
RealtimeTTS 开源

实时把文字变语音,低延迟流式输出,轻松集成各种 TTS 引擎。

Converts text to speech in realtime

★ 4052 2026-08-09
vae_tacotron2 开源

用VAE隐变量控制语音风格,让TTS更自然有表现力

VAE Tacotron 2, an alternative of GST Tacotron

★ 91 2026-08-09
JamBot 开源

用 Python 自动化音乐制作,快速生成混音灵感。

★ 64 2026-08-09