OmAgent

快速搭建多模态语言智能体，从原型到生产一步到位

开源 🏷️定价信息待确认 ⚠️ 链接可跳转，访问体验不确定对话助手 🍴 复刻 289 🐛 待处理 23 👀 关注 130

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 2671

维护状态较活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

项目数据

分类对话助手

开发团队om-ai-lab

官网地址https://om-agent.com

GitHubhttps://github.com/om-ai-lab/OmAgent

定价模式🏷️定价信息待确认

价格说明官网存在但定价信息不明确，需进一步确认。

访问状态⚠️ 链接可跳转，访问体验不确定

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent,chatbot,gemini,gpt,gpt4,gradio,language-agent,large-language-models,llama,llava,llm,multimodal,multimodal-agent,openai,python,rag,smart-hardware,vision-and-language,vlm,workflow

GitHub 星标★ 2671

上线时间2024-07-04 00:00:00

代码更新2026-10-16

仓库体积11.7 MB

本站数据更新2026-11-10

维护状态较活跃

收录时间2026-08-09

浏览次数6

项目介绍

OmAgent 是一个用于快速构建多模态语言智能体的开源框架，旨在帮助开发者从原型到生产环境无缝部署。它解决了传统语言模型在处理图像、视频等非文本数据时的局限，通过统一的接口整合多种大语言模型（如 GPT、Gemini、Llama）和视觉模型（如 LLaVA），支持多模态输入与推理。核心能力包括：灵活的 Agent 编排机制、内置 Gradio 交互界面、支持流式输出与工具调用，以及面向生产环境的优化配置。项目源自 EMNLP-2024 论文，提供了从研究到落地的完整解决方案，适合需要快速验证多模态交互场景的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2671

技术标签

agent chatbot gemini gpt gpt4

使用教程

难度：入门约 10 分钟部署方式：本地安装 6 步

环境要求

Python >= 3.10
可用的 OpenAI API Key 或兼容端点（也可改用本地部署的 Ollama）
能访问 examples 示例目录（需先获取项目源码）
终端可执行 pip 与 python 命令

安装与启动步骤

1检查Python版本

确认本机 Python 版本不低于 3.10，低于该版本无法安装 omagent-core。
```
python --version
```
2安装omagent_core

用 pip 安装官方最新发布的 omagent-core 库，这是框架的核心依赖。
```
pip install omagent-core
```
3获取示例源码

示例脚本和配置文件都在仓库中，先克隆 OmAgent 项目到本地。
```
git clone https://github.com/om-ai-lab/OmAgent.git
```
4生成container配置

在仓库根目录执行，进入示例目录并编译生成默认设置的 container.yaml。
```
cd examples/step1_simpleVQA
python compile_container.py
```
5配置模型密钥

用环境变量设置 OpenAI API Key 和兼容端点；也可直接修改 configs/llms/gpt.yml。
```
export custom_openai_key="sk-xxxxxxxx"
export custom_openai_endpoint="https://api.openai.com/v1"
```
6启动网页演示

运行简单 VQA 示例的网页版客户端，输入输出都在网页中完成。
```
cd examples/step1_simpleVQA
python run_webpage.py
```

关键配置

配置项	必填	说明	示例
`custom_openai_key`	是	OpenAI 或兼容服务的 API Key，用于调用语言模型	`sk-xxxxxxxx`
`custom_openai_endpoint`	否	模型服务端点地址，使用官方服务可省略	`https://api.openai.com/v1`
`configs/llms/gpt.yml`	否	LLM 配置文件，也可直接在此文件中写入密钥与端点	`configs/llms/gpt.yml`

如何确认成功

浏览器打开 http://127.0.0.1:7860，能看到 Gradio 交互界面并能提交图片问答即启动成功。

常见问题

Q：Python 版本低于 3.10 能装吗？

A：不能，README 明确要求 python >= 3.10，请先升级解释器或使用虚拟环境。

Q：没有 OpenAI Key 怎么办？

A：可以本地部署 Ollama 调用自有语言模型，具体教程见 docs/concepts/models/Ollama.md。

Q：container.yaml 是什么？

A：它是管理各组件依赖与设置的系统配置文件，由 compile_container.py 生成，详见 docs/concepts/container.md。

Q：网页打不开怎么排查？

A：确认 run_webpage.py 仍在运行，并检查 127.0.0.1 的 7860 端口是否被占用或拦截。

注意事项

每个示例目录（如 examples/step1_simpleVQA）都需要单独执行 compile_container.py 生成 container.yaml。
密钥建议用环境变量传入，避免直接写进 yml 文件后提交到仓库。
除网页客户端外，README 还提到可参考其他示例与 Mobile 连接等能力，可从源码安装最新版本：pip install -e omagent-core。