AudioGPT

一句话搞定音频理解与生成，还能驱动数字人说话

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署数字人3D 🍴 复刻 845 🐛 待处理 53 👀 关注 132

GitHub ↗

GitHub 星标 ★ 10166

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，本地部署，完全免费

项目预览

项目数据

分类数字人3D

开发团队AIGC-Audio

GitHubhttps://github.com/AIGC-Audio/AudioGPT

定价模式🏷️完全免费

价格说明开源项目，本地部署，完全免费

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型audio,gpt,music,sound,speech,talking-head

GitHub 星标★ 10166

上线时间2023-03-16 00:00:00

代码更新2024-07-06

仓库体积23.6 MB

本站数据更新2026-11-10

维护状态低维护

收录时间2026-08-09

浏览次数8

项目介绍

AudioGPT 是一个多模态音频处理框架，旨在统一理解和生成语音、音乐、声音以及说话头（Talking Head）等音频相关任务。它解决了传统音频模型功能单一、难以协同工作的问题，通过将多种预训练音频模型与大型语言模型（LLM）结合，实现跨模态的音频理解和生成。核心能力包括：语音识别与合成、音乐生成与理解、声音事件检测与生成，以及基于音频驱动的说话头视频生成。用户可以通过自然语言指令与系统交互，系统自动调度合适的模型完成任务，并返回音频或视频结果。该项目基于 Python 实现，整合了多种先进模型，提供了灵活的扩展接口，适用于研究、开发及创意应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 10166

技术标签

audio gpt music speech talking-head

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：高级约 30 分钟部署方式：本地安装 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（项目基于 Python 实现）
Git，用于克隆 GitHub 仓库
需自行查阅仓库内 run.md 获取完整安装与运行说明

安装与启动步骤

1克隆项目仓库

从 GitHub 拉取 AudioGPT 源码到本地，后续所有安装与运行步骤都以该目录为基础。
```
git clone https://github.com/AIGC-Audio/AudioGPT.git
```
2进入项目目录

切换到刚克隆下来的仓库目录，再执行仓库内提供的说明文件。
```
cd AudioGPT
```
3阅读 run.md

README 明确要求参考 run.md 获取安装与运行方式，安装依赖、下载模型等均以该文件为准。
```
cat run.md
```
4查看能力与示例

README 指出提示词示例见 assets/README.md，可据此了解各任务对应的输入示例。
```
cat assets/README.md
```