OmniFusion

图文双模态对话,一张图加一句话,AI秒懂你

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 办公效率 🍴 复刻 29 🐛 待处理 4 👀 关注 5
GitHub ↗
GitHub 星标 ★ 234
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型,Apache-2.0许可证,可免费使用和部署。

项目预览

OmniFusion 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类办公效率
开发团队FusionBrainLab
定价模式🏷️完全免费
价格说明开源模型,Apache-2.0许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai-assistant,large-language-models,multimodal,transformer,vcr,visual-encoding,vqa
GitHub 星标★ 234
上线时间2023-11-20 00:00:00
代码更新2024-04-28
仓库体积22.7 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

OmniFusion是一个多模态AI模型,旨在让用户通过文本和图像进行自然交互。它解决了传统单一模态模型无法同时理解和处理文字与图片信息的问题,核心能力包括图像理解、文本生成以及图文联合推理。用户可以向模型输入一张图片并附带问题,模型能基于图像内容给出回答,或根据文本指令对图像进行描述、分析等操作。项目基于Python实现,提供了模型推理和交互的接口,适合开发者集成到自己的应用中。目前项目处于早期阶段,功能还在快速迭代中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 234

核心亮点

  • 支持图像与文本联合输入,交互方式更自然
  • 基于Python,易于集成到现有AI工作流
  • 代码结构清晰,适合二次开发和多模态研究

不足之处

  • 文档/社区待观察
  • 模型规模与效果未公开基准测试,实际性能待验证

适用场景

  • 智能客服:用户发图提问,自动识别并回复
  • 辅助设计:根据草图生成描述或建议
  • 教育场景:拍照解题或讲解图片内容

替代项目

LLaVA、Qwen-VL、CogVLM

上一篇:VersBand

下一篇:Code-Package-p5.js

同类项目推荐

Efficient-LLMs-Survey 开源

一篇看懂 LLM 高效化,从压缩到推理加速全攻略

[TMLR 2024] Efficient Large Language Models: A Survey

★ 1260 2026-08-09
gitleaks 开源

扫描 Git 历史,秒级揪出泄露的密钥和令牌

Find secrets with Gitleaks

★ 30823 2026-08-09
MGM-Omni 开源

让语音大模型记住你的声音,长对话也能个性化陪伴

MGM-Omni: Scaling Omni LLMs to Personalized Long-Horizon Speech

★ 202 2026-08-09
alpamayo 开源

让自动驾驶模型边开车边讲清因果理由

NVIDIA Alpamayo 1 Nano is an open 10B reasoning VLA model for autonomous vehicles th···

★ 2061 2026-09-17
Awesome-LLM-KG 开源

一页看懂LLM与知识图谱融合的所有关键论文

Awesome papers about unifying LLMs and KGs

★ 2620 2026-08-09
Awesome-Diffusion-LLM 开源

一页看尽扩散+大模型论文,快速入门新方向

A comprehensive list of papers about Large-Language-Diffusion-Models.

★ 111 2026-08-09
Qwen3.8 开源

开源大模型,本地部署即可对话推理写代码

Qwen3.8 is the large language model series developed by Qwen team, Alibaba Group.

★ 4399 2026-09-15
rubra 开源

本地跑通带工具调用的开放模型,快速搭建 AI Agent

Open Weight, tool-calling LLMs

★ 153 2026-08-09