AudioGPT

一句话搞定音频理解与生成，还能驱动数字人说话

AudioGPT 是一个多模态音频处理框架，旨在统一理解和生成语音、音乐、声音以及说话头（Talking Head）等音频相关任务。它解决了传统音频模型功能单一、难以协同工作的问题，通过将多种预训练音频模型与大型语言模型（LLM）结合，实现跨模态的音频理解和生成。核心能力包括：语音识别与合成、音乐生成与理解、声音事件检测与生成，以及基于音频驱动的说话头视频生成。用户可以通过自然语言指令与系统交互，系统自动调度合适的模型完成任务，并返回音频或视频结果。该项目基于 Python 实现，整合了多种先进模型，提供了灵活的扩展接口，适用于研究、开发及创意应用。

开源 free 数字人3D

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 10171

维护状态低维护

是否开源是

定价模式 free

项目数据

分类数字人3D

开发团队AIGC-Audio

所属国家

官网地址

GitHubhttps://github.com/AIGC-Audio/AudioGPT

定价模式free

价格说明开源项目，本地部署，完全免费

访问状态

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型audio,gpt,music,sound,speech,talking-head

GitHub 星标★ 10171

30天Star增速

HF 下载量

上线时间2023-03-16 00:00:00

最近更新2026-09-15 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数7

使用教程

难度：高级约 30 分钟部署方式：本地安装 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（项目基于 Python 实现）
Git，用于克隆 GitHub 仓库
需自行查阅仓库内 run.md 获取完整安装与运行说明

安装与启动步骤

1克隆项目仓库

从 GitHub 拉取 AudioGPT 源码到本地，后续所有安装与运行步骤都以该目录为基础。
```
git clone https://github.com/AIGC-Audio/AudioGPT.git
```
2进入项目目录

切换到刚克隆下来的仓库目录，再执行仓库内提供的说明文件。
```
cd AudioGPT
```
3阅读 run.md

README 明确要求参考 run.md 获取安装与运行方式，安装依赖、下载模型等均以该文件为准。
```
cat run.md
```
4查看能力与示例

README 指出提示词示例见 assets/README.md，可据此了解各任务对应的输入示例。
```
cat assets/README.md
```

如何确认成功

README 未给出启动命令和端口，无法据此验证；请按 run.md 中的说明确认服务或脚本是否正常运行。

常见问题

Q：怎么安装依赖、怎么启动？

A：README 只写了“Please refer to run.md”，安装、模型下载与启动命令都以仓库中的 run.md 为准，本项目 README 未给出具体命令。

Q：目前支持哪些音频任务？

A：语音方向包括文本转语音、风格迁移、语音识别、语音增强、语音分离、语音翻译和单声道转双声道，另有音乐、声音与说话头等能力。

Q：所有模型都能直接用吗？

A：不是。README 说明当前并非每个模型都有对应仓库，且部分任务状态标注为 WIP，功能可能尚不完整。

Q：有预训练模型吗？

A：README 称在该仓库中开源了实现与预训练模型，具体获取方式需查看 run.md。

注意事项

README 顶部即指向 run.md，未提供 pip、conda 或 Docker 等安装命令，切勿凭猜测执行。
部分任务状态为 Yes (WIP) 或 WIP，属于开发中功能，可能不稳定。
README 声明并非每个模型都有对应仓库，部署前需确认目标任务所依赖的模型是否可用。
项目整合了多种外部基础模型，实际资源占用与耗时取决于所选任务，README 未给出硬件要求。

核心亮点

统一框架整合语音、音乐、声音、说话头四大类任务，交互简单
基于LLM调度，支持自然语言指令，无需编程即可调用复杂模型
代码开源，模块化设计，便于二次开发和集成新模型

不足之处

依赖多个外部模型，部署环境复杂，资源占用高
文档偏学术，上手门槛较高
实时性依赖模型推理速度，可能不适合低延迟场景

适用场景

智能助手：通过语音交互完成问答、播报、音乐播放等
内容创作：自动生成配乐、音效、语音旁白或虚拟主播视频
辅助研究：快速对比不同音频模型效果，验证多模态想法

替代项目

Hugging Face Transformers、Whisper、VALL-E

项目介绍

AudioGPT 是音频音乐领域的开源项目，由 AIGC-Audio 开发，2023 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（10,171）位列前 5%，在音频音乐分类的 738 个项目里位列前 3%。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-15。本地部署，完全免费。

它主要面向的使用场景是：智能助手：通过语音交互完成问答、播报、音乐播放等。同类可对比的替代方案包括 Hugging Face Transformers、Whisper、VALL-E。

上一篇：flowflow

下一篇：AudioMuse-AI