NExT-GPT

一个模型搞定文本、图像、音频、视频的任意输入输出

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 359 🐛 待处理 81 👀 关注 59

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 3633

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源模型，代码与模型权重公开，可自行部署，完全免费。

项目预览

项目数据

分类开源模型

开发团队NExT-GPT

官网地址https://next-gpt.github.io

GitHubhttps://github.com/NExT-GPT/NExT-GPT

定价模式🏷️完全免费

价格说明开源模型，代码与模型权重公开，可自行部署，完全免费。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议BSD-3-Clause

主要语言Python

技术栈/模型chatgpt,foundation-models,gpt-4,instruction-tuning,large-language-models,llm,mllm,multi-modal-chatgpt,multimodal,visual-language-learning

GitHub 星标★ 3633

上线时间2023-08-30 00:00:00

代码更新2025-05-13

仓库体积127.6 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数7

项目介绍

NExT-GPT是新加坡国立大学团队在ICML 2024发表的任意模态大语言模型，支持文本、图像、音频和视频的任意输入与输出组合。它采用LLM作为核心大脑，通过对齐模块将不同模态的编码器与解码器连接，实现了真正的多模态理解与生成。项目解决了传统多模态模型仅支持部分模态输入或输出的局限，提供了统一的端到端框架。核心能力包括多模态对话、跨模态内容生成（如根据视频生成文本描述或音频）以及多模态推理。代码和模型均已开源，方便研究者复现和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3633

技术标签

chatgpt foundation-models gpt-4 instruction-tuning large-language-models

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：高级约 30 分钟部署方式：本地安装 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 运行环境（项目为 Python 实现）
已克隆 NExT-GPT 代码仓库
已下载官方发布的模型权重（7b_tiva_v0）
具备运行多模态大模型的本地算力环境

安装与启动步骤

1克隆项目仓库

把 NExT-GPT 仓库拉到本地，后续命令都在仓库根目录执行。
```
git clone https://github.com/NExT-GPT/NExT-GPT.git
```
2下载模型权重

从 HuggingFace 获取官方发布的 7b_tiva_v0 检查点，供预测时加载。
```
git clone https://huggingface.co/ChocoWu/nextgpt_7b_tiva_v0
```
3确认代码版本

旧代码库已收纳进 NExT-GPT-Lagacy 目录，训练与调优请以新版代码库为准。
4运行预测

检查点加载完成后执行预测脚本，体验任意模态组合的输入与输出。
```
python predict.py
```