fish-speech

上传几秒音频,克隆任意音色,生成自然逼真的语音。

开源 🏷️定价信息待确认 🚫 站点已失效 音频音乐 🍴 复刻 2921 🐛 待处理 24 👀 关注 161
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 33608
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

fish-speech 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队fishaudio
定价模式🏷️定价信息待确认
价格说明官网为在线语音合成演示,但定价信息未明确,需进一步确认。
访问状态🚫 站点已失效
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型llama,transformer,tts,valle,vits,vqgan,vqvae
GitHub 星标★ 33608
上线时间2023-10-10 00:00:00
代码更新2026-11-02
仓库体积32.4 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数7

项目介绍

fish-speech 是一个开源的文本转语音(TTS)模型,基于 VQGAN 和 Llama 架构,实现了目前最先进的语音合成效果。它解决了传统 TTS 系统音质生硬、韵律不自然、多语言支持差等问题,核心能力包括:零样本语音克隆(仅需数秒参考音频即可模仿音色)、多语言混合合成(中英日韩等语言无缝切换)、低延迟流式推理(适合实时交互)。项目提供了完整的训练和推理代码,支持自定义音色微调,并附带了预训练模型和 WebUI 界面,方便开发者快速集成到自己的应用中。其底层技术融合了 VALL-E 和 VITS 的思路,通过 VQGAN 将音频离散化,再用 Llama 模型进行自回归生成,最终实现高表现力的语音输出。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 33608

技术标签

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:入门 约 15 分钟 部署方式:Docker 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 可访问 GitHub 与 Hugging Face(模型权重托管在 fishaudio/s2-pro)
  • 能运行 Docker 的环境,或自行准备 Python 运行环境(项目为 Python 实现)
  • 建议提前阅读官方文档 https://speech.fish.audio 与仓库 License Notice

安装与启动步骤

  1. 1阅读官方文档

    README 节选未给出安装命令,请以官网文档为准,确认最新的安装方式、依赖与许可条款后再动手。

  2. 2获取项目源码

    克隆仓库到本地,便于查看文档、示例脚本与 Docker 相关文件。

    git clone https://github.com/fishaudio/fish-speech.git
  3. 3拉取 Docker 镜像

    README 徽章指向 Docker Hub 的 fishaudio/fish-speech 镜像,可直接拉取用于部署。

    docker pull fishaudio/fish-speech
  4. 4下载模型权重

    在 Hugging Face 上获取 fishaudio/s2-pro 权重,按官网文档放置到指定目录后使用。

如何确认成功

README 未给出启动命令,请按官网文档启动后确认可正常合成语音。

常见问题

Q:有中文说明文档吗?

A:有,仓库内提供 docs/README.zh.md 简体中文文档,README 顶部语言栏可切换。

Q:模型权重从哪里下载?

A:README 中给出的链接为 Hugging Face 上的 fishaudio/s2-pro。

Q:支持多语言吗?

A:项目具备多语言混合合成能力,中英日韩等语言可无缝切换,具体支持情况以官方文档为准。

Q:使用有什么许可限制?

A:README 的 License Notice 提示代码库与模型权重有专门授权说明,商用前务必先阅读确认。

注意事项

  • 本项目 README 节选未包含完整安装命令,实际步骤请以官网 https://speech.fish.audio 为准。
  • 官方提供了多语言文档(中/英/日/韩/葡/阿/西),遇到问题可先查阅对应语言版本。
  • 模型权重与代码库的授权条款独立,使用前请确认合规。

核心亮点

  • 零样本语音克隆:仅需 10 秒参考音频即可模仿音色,效果接近原声
  • 多语言混合合成:中英日韩等语言可无缝切换,适合国际化场景
  • 流式低延迟推理:支持边生成边播放,适合实时语音交互应用

不足之处

  • 训练资源要求高:完整微调需要多卡 GPU,个人开发者门槛较高
  • 文档/社区待观察:英文文档为主,中文社区资源相对较少

适用场景

  • 游戏或虚拟主播的实时语音合成与角色配音
  • 有声书、播客等长音频内容的自动化生产
  • 语音助手、客服机器人等需要个性化音色的场景

替代项目

ChatTTS、GPT-SoVITS、XTTS

上一篇:Bert-VITS2

下一篇:to-the-stars

同类项目推荐

midi2voice 开源

上传 MIDI,一键生成人声演唱,快速试听旋律效果。

Singing synthesis from MIDI file

★ 286 2026-08-09
MusicTransformer-Pytorch 开源

用 PyTorch 复现 Music Transformer,轻松生成连贯钢琴曲

MusicTransformer written for MaestroV2 using the Pytorch framework for music generat···

★ 262 2026-08-09
Awesome-Text-to-Speech 开源

一份清单,带你速览 TTS 最新工具和模型,少走弯路。

A curated list of the latest and most influential tools, models, and resources in th···

★ 219 2026-08-09
voicevox_core 开源

把日语TTS引擎装进你的应用,离线生成自然语音

無料で使える中品質なテキスト読み上げソフトウェア、VOICEVOXのコア

★ 1149 2026-10-27
obs-squawk 开源

在 OBS 里直接生成实时 AI 语音,直播播报不用切软件

Real-time Text-to-Speech AI Engine built-in OBS, integrative and intuitive

★ 71 2026-08-09
Parakeet 开源

用 PaddlePaddle 一键训练和部署多种主流语音合成模型

PAddle PARAllel text-to-speech toolKIT (supporting Tacotron2, Transformer TTS, FastS···

★ 628 2026-08-09
voicesmith 开源

一键搞定 TTS 模型训练,从数据到模型不再头疼

[WIP] VoiceSmith makes training text to speech models easy.

★ 230 2026-08-09
1SHOT 开源

一个机器人搞定 Discord 音乐、游戏和管理

All my works - https://github.com/FirezTheGreat (latest music commands/djs v14/es6 m···

★ 83 2026-08-09
mu2mi 开源

用 TypeScript 快速集成 AI 音乐生成与处理能力

The Open Source AI Musical Toolkit

★ 54 2026-08-09