fish-speech

上传几秒音频，克隆任意音色，生成自然逼真的语音。

fish-speech 是一个开源的文本转语音（TTS）模型，基于 VQGAN 和 Llama 架构，实现了目前最先进的语音合成效果。它解决了传统 TTS 系统音质生硬、韵律不自然、多语言支持差等问题，核心能力包括：零样本语音克隆（仅需数秒参考音频即可模仿音色）、多语言混合合成（中英日韩等语言无缝切换）、低延迟流式推理（适合实时交互）。项目提供了完整的训练和推理代码，支持自定义音色微调，并附带了预训练模型和 WebUI 界面，方便开发者快速集成到自己的应用中。其底层技术融合了 VALL-E 和 VITS 的思路，通过 VQGAN 将音频离散化，再用 Llama 模型进行自回归生成，最终实现高表现力的语音输出。

开源 unknown 音频音乐

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 32780

维护状态活跃

是否开源是

定价模式 unknown

项目数据

分类音频音乐

开发团队fishaudio

所属国家

官网地址https://speech.fish.audio

GitHubhttps://github.com/fishaudio/fish-speech

定价模式unknown

价格说明官网为在线语音合成演示，但定价信息未明确，需进一步确认。

访问状态

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型llama,transformer,tts,valle,vits,vqgan,vqvae

GitHub 星标★ 32780

30天Star增速

HF 下载量

上线时间2023-10-10 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

难度：入门约 15 分钟部署方式：Docker 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

可访问 GitHub 与 Hugging Face（模型权重托管在 fishaudio/s2-pro）
能运行 Docker 的环境，或自行准备 Python 运行环境（项目为 Python 实现）
建议提前阅读官方文档 https://speech.fish.audio 与仓库 License Notice

安装与启动步骤

1阅读官方文档

README 节选未给出安装命令，请以官网文档为准，确认最新的安装方式、依赖与许可条款后再动手。
2获取项目源码

克隆仓库到本地，便于查看文档、示例脚本与 Docker 相关文件。
```
git clone https://github.com/fishaudio/fish-speech.git
```
3拉取 Docker 镜像

README 徽章指向 Docker Hub 的 fishaudio/fish-speech 镜像，可直接拉取用于部署。
```
docker pull fishaudio/fish-speech
```
4下载模型权重

在 Hugging Face 上获取 fishaudio/s2-pro 权重，按官网文档放置到指定目录后使用。

如何确认成功

README 未给出启动命令，请按官网文档启动后确认可正常合成语音。

常见问题

Q：有中文说明文档吗？

A：有，仓库内提供 docs/README.zh.md 简体中文文档，README 顶部语言栏可切换。

Q：模型权重从哪里下载？

A：README 中给出的链接为 Hugging Face 上的 fishaudio/s2-pro。

Q：支持多语言吗？

A：项目具备多语言混合合成能力，中英日韩等语言可无缝切换，具体支持情况以官方文档为准。

Q：使用有什么许可限制？

A：README 的 License Notice 提示代码库与模型权重有专门授权说明，商用前务必先阅读确认。

注意事项

本项目 README 节选未包含完整安装命令，实际步骤请以官网 https://speech.fish.audio 为准。
官方提供了多语言文档（中/英/日/韩/葡/阿/西），遇到问题可先查阅对应语言版本。
模型权重与代码库的授权条款独立，使用前请确认合规。

核心亮点

零样本语音克隆：仅需 10 秒参考音频即可模仿音色，效果接近原声
多语言混合合成：中英日韩等语言可无缝切换，适合国际化场景
流式低延迟推理：支持边生成边播放，适合实时语音交互应用

不足之处

训练资源要求高：完整微调需要多卡 GPU，个人开发者门槛较高
文档/社区待观察：英文文档为主，中文社区资源相对较少

适用场景

游戏或虚拟主播的实时语音合成与角色配音
有声书、播客等长音频内容的自动化生产
语音助手、客服机器人等需要个性化音色的场景

替代项目

ChatTTS、GPT-SoVITS、XTTS

项目介绍

fish-speech 是音频音乐领域的开源项目，由 fishaudio 开发，2023 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（32,780）位列前 2%，在音频音乐分类的 738 个项目里位列前 1%。

近 44 天，它的 GitHub 星标从 32,113 增加到 32,780，净增 667。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。官网为在线语音合成演示，但定价信息未明确，需进一步确认。从国内网络环境看，当前已无法正常访问。

它主要面向的使用场景是：游戏或虚拟主播的实时语音合成与角色配音。同类可对比的替代方案包括 ChatTTS、GPT-SoVITS、XTTS。

上一篇：Bert-VITS2

下一篇：to-the-stars