InternLM-XComposer

让AI边看视频边聊天，长时音视频实时理解不丢上下文

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 177 🐛 待处理 149 👀 关注 39

GitHub ↗

GitHub 星标 ★ 2928

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源模型，Apache-2.0许可证，可免费使用和部署。

项目预览

InternLM-XComposer 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队InternLM

GitHubhttps://github.com/InternLM/InternLM-XComposer

定价模式🏷️完全免费

价格说明开源模型，Apache-2.0许可证，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型chatgpt,foundation,gpt,gpt-4,instruction-tuning,language-model,large-language-model,large-vision-language-model,llm,mllm,multi-modality,multimodal,supervised-finetuning,vision-language-model,vision-transformer,visual-language-learning

GitHub 星标★ 2928

上线时间2023-09-26 00:00:00

代码更新2025-05-26

仓库体积204.3 MB

本站数据更新2026-11-10

维护状态低维护

收录时间2026-08-09

浏览次数7

项目介绍

InternLM-XComposer 是上海人工智能实验室推出的多模态大模型系统，最新版本 2.5-OmniLive 专注于长时流式视频与音频的实时交互。它解决了传统多模态模型难以处理长时间连续音视频流、响应延迟高、上下文记忆有限的问题。核心能力包括：支持长达数小时的视频/音频流式输入，实现边看边聊的实时对话；融合视觉、听觉与文本的多模态理解，能同时解析画面内容、语音语义和环境声音；具备长期记忆机制，可跨片段关联信息，回答涉及前文的问题。系统采用模块化设计，将感知、推理和记忆解耦，支持在本地或云端部署，为智能助手、视频分析、实时监控等场景提供端到端解决方案。项目基于 Python 和深度学习框架，提供预训练模型与推理代码，开发者可快速集成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2928

技术标签

chatgpt gpt gpt-4 instruction-tuning language-model

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 30 分钟部署方式：本地安装 5 步

环境要求

Python 环境（项目基于 Python 与深度学习框架）
NVIDIA GPU 及 CUDA 环境（LMDeploy 默认依赖 CUDA 12.x，CUDA 11.x 需另按安装指南配置）
已安装 PyTorch 与 transformers 等依赖库
可访问 HuggingFace 或 ModelScope 下载 internlm/internlm-xcomposer2d5-7b 权重

安装与启动步骤

1获取项目代码

把仓库克隆到本地，后续安装与示例代码都基于该目录运行。
```
git clone https://github.com/InternLM/InternLM-XComposer.git
cd InternLM-XComposer
```
2安装环境依赖

README 要求先配置好环境并安装依赖库，具体命令需查看仓库内 docs/install.md，本页未给出完整命令。
3安装 LMDeploy(可选)

若需要做推理加速，README 推荐使用 LMDeploy，直接安装其 pypi 包即可。
```
pip install lmdeploy
```
4Transformers 快速上手

README 的 Quickstart 只给出了示例开头（导入与关闭梯度），完整模型加载与推理代码在仓库示例中。
```
import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)
```
5准备 Gradio 演示

README 说明构建 Web UI Demo 需使用 gradio==4.13.0，启动 Chat/Composition 的具体命令在本页节选中被截断。
```
pip install gradio==4.13.0
```

关键配置

配置项	必填	说明	示例
`模型 ID`	是	HuggingFace 上的官方权重，也可在 ModelScope 获取同名模型	`internlm/internlm-xcomposer2d5-7b`
`gradio 版本`	是	构建 Web UI Demo 时必须使用的 Gradio 版本	`4.13.0`