OmAgent

快速搭建多模态语言智能体，从原型到生产一步到位

OmAgent 是一个用于快速构建多模态语言智能体的开源框架，旨在帮助开发者从原型到生产环境无缝部署。它解决了传统语言模型在处理图像、视频等非文本数据时的局限，通过统一的接口整合多种大语言模型（如 GPT、Gemini、Llama）和视觉模型（如 LLaVA），支持多模态输入与推理。核心能力包括：灵活的 Agent 编排机制、内置 Gradio 交互界面、支持流式输出与工具调用，以及面向生产环境的优化配置。项目源自 EMNLP-2024 论文，提供了从研究到落地的完整解决方案，适合需要快速验证多模态交互场景的团队。

开源 unknown 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2667

维护状态低维护

是否开源是

定价模式 unknown

项目数据

分类对话助手

开发团队om-ai-lab

所属国家

官网地址https://om-agent.com

GitHubhttps://github.com/om-ai-lab/OmAgent

定价模式unknown

价格说明官网存在但定价信息不明确，需进一步确认。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent,chatbot,gemini,gpt,gpt4,gradio,language-agent,large-language-models,llama,llava,llm,multimodal,multimodal-agent,openai,python,rag,smart-hardware,vision-and-language,vlm,workflow

GitHub 星标★ 2667

30天Star增速

HF 下载量

上线时间2024-07-04 00:00:00

最近更新2026-09-15 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

难度：入门约 10 分钟部署方式：本地安装 6 步

环境要求

Python >= 3.10
可用的 OpenAI API Key 或兼容端点（也可改用本地部署的 Ollama）
能访问 examples 示例目录（需先获取项目源码）
终端可执行 pip 与 python 命令

安装与启动步骤

1检查Python版本

确认本机 Python 版本不低于 3.10，低于该版本无法安装 omagent-core。
```
python --version
```
2安装omagent_core

用 pip 安装官方最新发布的 omagent-core 库，这是框架的核心依赖。
```
pip install omagent-core
```
3获取示例源码

示例脚本和配置文件都在仓库中，先克隆 OmAgent 项目到本地。
```
git clone https://github.com/om-ai-lab/OmAgent.git
```
4生成container配置

在仓库根目录执行，进入示例目录并编译生成默认设置的 container.yaml。
```
cd examples/step1_simpleVQA
python compile_container.py
```
5配置模型密钥

用环境变量设置 OpenAI API Key 和兼容端点；也可直接修改 configs/llms/gpt.yml。
```
export custom_openai_key="sk-xxxxxxxx"
export custom_openai_endpoint="https://api.openai.com/v1"
```
6启动网页演示

运行简单 VQA 示例的网页版客户端，输入输出都在网页中完成。
```
cd examples/step1_simpleVQA
python run_webpage.py
```

关键配置

配置项	必填	说明	示例
`custom_openai_key`	是	OpenAI 或兼容服务的 API Key，用于调用语言模型	`sk-xxxxxxxx`
`custom_openai_endpoint`	否	模型服务端点地址，使用官方服务可省略	`https://api.openai.com/v1`
`configs/llms/gpt.yml`	否	LLM 配置文件，也可直接在此文件中写入密钥与端点	`configs/llms/gpt.yml`

如何确认成功

浏览器打开 http://127.0.0.1:7860，能看到 Gradio 交互界面并能提交图片问答即启动成功。

常见问题

Q：Python 版本低于 3.10 能装吗？

A：不能，README 明确要求 python >= 3.10，请先升级解释器或使用虚拟环境。

Q：没有 OpenAI Key 怎么办？

A：可以本地部署 Ollama 调用自有语言模型，具体教程见 docs/concepts/models/Ollama.md。

Q：container.yaml 是什么？

A：它是管理各组件依赖与设置的系统配置文件，由 compile_container.py 生成，详见 docs/concepts/container.md。

Q：网页打不开怎么排查？

A：确认 run_webpage.py 仍在运行，并检查 127.0.0.1 的 7860 端口是否被占用或拦截。

注意事项

每个示例目录（如 examples/step1_simpleVQA）都需要单独执行 compile_container.py 生成 container.yaml。
密钥建议用环境变量传入，避免直接写进 yml 文件后提交到仓库。
除网页客户端外，README 还提到可参考其他示例与 Mobile 连接等能力，可从源码安装最新版本：pip install -e omagent-core。

核心亮点

整合多种主流 LLM 和视觉模型，支持图像、视频等多模态输入，开箱即用
提供 Gradio 内置界面，可快速搭建演示原型，降低验证门槛
基于 EMNLP 论文，架构设计兼顾研究探索与生产部署需求

不足之处

文档/社区待观察
多模型集成可能导致依赖较重，部署资源要求较高

适用场景

构建多模态对话助手，支持图片问答和视频理解
快速搭建智能体原型用于学术演示或产品验证
在现有业务中集成多模态交互能力，如智能客服、内容审核

替代项目

AutoGen、LangChain、AgentGPT

项目介绍

OmAgent 是智能体领域的开源项目，由 om-ai-lab 开发，2024 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（2,667）位列前 30%，在智能体分类的 2,517 个项目里位列前 15%。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-15。官网存在但定价信息不明确，需进一步确认。从国内网络环境看，访问稳定性一般，建议自备网络条件。

它主要面向的使用场景是：构建多模态对话助手，支持图片问答和视频理解。同类可对比的替代方案包括 AutoGen、LangChain、AgentGPT。

上一篇：Claude-to-IM-skill

下一篇：Auto-GPT-ZH