multimodal 第 4 页
本站收录 231 个带「multimodal」标签的 AI 开源项目（按 GitHub 星标从高到低，第 4 / 5 页）
LLaVARLLaVAR 是一个面向文本密集型图像理解的多模态对话助手，基于 LLaVA 架构进行增强，通过指令微调提升模型对图像中文字内容的识别与推理能力。它解决了传统视★ 269
llama_rosllama_ros 是一个把 llama.cpp 与 llava.cpp 封装进 ROS 2 的开源框架，让机器人开发者能直接在 ROS 2 节点里运行 GGU★ 268
LynnReal-OmniLynnReal-Omni 是一个把多种视频生成与编辑能力统一到同一框架的开源项目，基于 Python 实现。它试图解决视频生成领域模型碎片化的问题：文生视频、★ 261
BLIVABLIVA是一个基于多模态大语言模型的视觉问答助手，专注于处理包含大量文本的视觉问题，如文档截图、路牌、菜单等场景。它通过结合BLIP-2的视觉编码能力和LLa★ 260
keras-llm-robotkeras-llm-robot 是一个用于学习大语言模型（LLM）的 Web UI 项目，旨在通过可视化的方式帮助用户理解 LLM 的核心概念。它集成了聊天、量★ 251
awesome-seedance-2.5-prompts-skills这是一个围绕字节跳动 Seedance 2.5 视频生成模型的中文提示词资源库与智能体技能包。项目收录了 100 多条经过验证的提示词，每条都附带真实视频预览，★ 245
OmniFusionOmniFusion是一个多模态AI模型，旨在让用户通过文本和图像进行自然交互。它解决了传统单一模态模型无法同时理解和处理文字与图片信息的问题，核心能力包括图像★ 234
mPLUG-2mPLUG-2 是阿里巴巴达摩院提出的模块化多模态基础模型，发表于 ICML 2023。它旨在统一处理文本、图像和视频三种模态，解决传统多模态模型在跨模态理解和★ 228
ComfyUI-fal-APIComfyUI-fal-API 是一个将 fal.ai 平台 1400+ 生成式 AI 模型接入 ComfyUI 的官方自定义节点插件。它解决了 ComfyUI★ 225
Awesome-LLM-Papers-Comprehensive-Topics这是一个精选大语言模型（LLM）论文与代码仓库的清单，覆盖了从基础架构、训练方法到应用落地等非常全面的主题。它旨在解决LLM领域信息过载、论文检索困难的问题，通★ 223
MMStarMMStar 是一个用于评估大型视觉语言模型（LVLMs）的基准测试工具，源自 NeurIPS 2024 论文。它解决了现有评估基准中模型可能通过语言先验或训练★ 218
Local-Multimodal-AI-ChatLocal-Multimodal-AI-Chat 是一个可自托管的本地多模态 AI 聊天应用，旨在解决数据隐私和云端依赖问题。它通过 Streamlit 构建界★ 208
fcc-ai-engineering-aws这是一个面向AI工程实践的Jupyter Notebook课程，聚焦嵌入、RAG、多模态模型和智能体，并深度结合Amazon Nova模型。项目旨在帮助开发者通★ 204
PosterCopilotPosterCopilot 是一个基于多模态大模型的海报自动生成工具，其官方实现代码已开源。它解决的是传统海报设计依赖专业设计师、耗时费力的问题，通过理解用户输★ 203
MGM-OmniMGM-Omni 是一个面向个性化长时语音交互的多模态大语言模型（Omni LLM）开源项目。它解决的是现有语音大模型在长时间对话中缺乏个性化、语音与文本模态对★ 202
Video2MusicVideo2Music 是一个基于情感多模态 Transformer 模型的视频配乐生成工具，旨在解决视频自动生成适配音乐的问题。它通过分析视频中的视觉内容（如★ 198
ICLR2026-Guide-CN这是一个针对ICLR 2026会议论文的中文导读项目。它解决了非英语母语研究者难以快速消化大量英文论文摘要和核心内容的问题。项目通过人工与LLM结合的方式，对I★ 181
Awesome-Multimodal-Urban-Computing这是一个聚焦多模态城市计算的专业资源清单，系统整理了多模态数据融合模型与关键数据集。它解决了城市计算研究中数据来源多样、融合方法分散、数据集查找困难的问题，为研★ 180
UniversalRAGUniversalRAG 是一个面向多模态、多粒度语料库的检索增强生成（RAG）框架，源自 ACL 2026 Oral 论文。它解决传统 RAG 系统难以统一处★ 177
OneJevOneJev 是一个多模态 System One 决策模型，目标是用一次前向传播，对屏幕、照片、视频和文本等输入给出带校准置信度的类型化答案。它解决的是 GUI★ 177
c4-genai-suitec4-genai-suite 是一个基于 TypeScript 构建的生成式 AI 工具集，旨在为开发者提供一套开箱即用的多模态 AI 能力集成方案。它解决了在★ 174
tiny-audiotiny-audio 是一个低成本语音转文字（ASR）系统，核心思路是把冻结的语音编码器与 Qwen 大语言模型通过一个小型可训练投影层连接起来，训练成本约 2★ 173
knowledgeops-agentknowledgeops-agent 是一个基于 Spring AI 的企业级知识管理平台，专注于检索增强生成（RAG）、工具调用、异步数据摄取、安全认证与可观★ 171
gemini-pro-botgemini-pro-bot 是一个基于 Python 的 Telegram 机器人，调用 Google 的 gemini-pro 大语言模型 API 提供智能★ 170
dsh-crewdsh-crew 是一个 DeepSeek Harness（DSH）插件，核心作用是让 Claude Code、Codex 等编码智能体把任务派发给 DSH 智★ 170
IDvs.MoRecIDvs.MoRec 是一个面向多模态推荐系统的端到端训练框架，由快手主导开源。它针对当前推荐系统中广泛使用的 ID 序列建模与新兴的多模态内容（如文本、图像、★ 169
Awesome-Music-GenerationAwesome-Music-Generation 是一个聚焦音乐生成模型（MG²）的资源合集，收录了基于扩散模型、大语言模型等技术的音乐生成项目、论文和工具。它★ 167
paper-listpaper-list 是一个自动更新的论文列表项目，专注于图像生成领域，同时覆盖动作识别、异常检测、音频处理、分类、深度估计、图神经网络等多个方向。它通过自动化★ 166
Sentiment-ReasoningSentiment-Reasoning 是一个面向医疗健康场景的情感推理模型与数据集项目，发表于 ACL 2025 Industry Track 并获 Oral★ 165
cerulCerul 是一个面向 AI 产品的视频记忆基础设施，为开发者提供 SDK、CLI、MCP 及多种集成方式，帮助 AI 应用理解和利用视频内容。它解决的是 AI★ 164
qapyqqapyq 是一个面向大规模图像/视频数据集的 AI 辅助媒体策展工具，专为 LoRA 和扩散模型训练流程设计。它解决了训练数据准备中繁琐的标注、裁剪和遮罩问题★ 164
GPA-LMGPA-LM是一个关于游戏智能体与大模型交叉领域的论文实时列表，收录了题为《A Survey on Game Playing Agents and Large ★ 161
spacespace 是一个面向机器学习全生命周期的统一存储框架，旨在解决 ML 项目中数据、模型、实验产物等分散存储、难以统一管理的问题。它提供了一套统一的接口和抽象层★ 156
ark-cliark-cli 是一个面向火山引擎方舟（Volcengine Ark）平台的命令行工具，旨在让开发者通过终端或 AI 智能体快速调用大模型能力。它解决了传统 A★ 144
MOSS-SpeechMOSS-Speech 是一个真正的语音到语音（speech-to-speech）大语言模型，无需文本作为中间引导。它直接接收语音输入并生成语音输出，旨在解决传★ 142
TokenComposeTokenCompose 是一个基于扩散模型的文本到图像生成方法，核心创新在于引入 token 级别的监督信号，以解决多物体组合生成中常见的问题，如物体遗漏、属★ 138
letmedoitletmedoit 是一个基于 Python 的本地 AI 助手，整合了 ChatGPT API、Gemini Pro、AutoGen 以及开源大语言模型，既能★ 135
multimodal-chatmultimodal-chat 是一个基于 Python 和 Gradio 构建的多模态聊天界面，集成了多种工具，支持通过 Anthropic Claude 和★ 133
InteractiveVideoInteractiveVideo 是一个面向用户的可控视频生成框架，核心解决现有视频生成模型难以精细控制生成内容的问题。它通过协同多模态指令（文本、图像、动作等★ 133
Awesome-Colorful-LLM这是一个精选资源列表，汇总了近期大型语言模型（LLM）在多领域的最新进展，涵盖视觉、音频、智能体、机器人、数学等基础科学。项目旨在帮助研究者和开发者快速追踪LL★ 131
hufhuf 是一个开源、可自托管的多智能体 AI 基础设施，面向团队和应用程序，帮助你在自己的服务器上搭建和运行多个 AI 智能体。它解决的核心问题是：企业或团队想★ 126
guardian-sdkGuardian SDK 是 Ethicore Engine™ 的开源组件，一个专注于 AI 安全、伦理与合规的防护平台。它通过多层分析流水线，保护 AI 应用★ 123
model-composemodel-compose 是一个受 docker-compose 启发的 AI 服务部署工具，旨在通过一个 YAML 文件快速定义和部署生产级的 AI 服务，★ 120
VT.aiVT.ai 是一个多模态 AI 聊天应用，核心特点是动态对话路由。它基于 Python 构建，集成了多种主流 LLM 后端（如 OpenAI、Ollama、ll★ 117
Modality-Integration-RateModality-Integration-Rate 是 ICCV 2025 论文的官方代码，提出了一种名为“模态整合率”（Modality Integratio★ 114
SensorLLMSensorLLM是EMNLP 2025的官方实现，旨在将大语言模型与运动传感器数据对齐，用于人类活动识别。它解决了传统HAR模型泛化能力差、难以理解复杂活动语★ 114
videodb-pythonVideoDB Python SDK 是访问 VideoDB 云服务的官方 Python 客户端。VideoDB 把视频当作可查询的数据库，而不是传统文件：上传★ 113
UniMedVLUniMedVL 是一个面向医疗领域的统一视觉语言模型，旨在同时处理医学图像的理解与生成任务。它通过“观察-知识-分析”框架，将多模态理解（如图像分类、报告生成★ 111
vector-inferencevector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架，目标是让团队在已有 HPC 调度系统上高效部署大模型推理，而不必额外搭建★ 110
LexoidLexoid 是一个开源的通用适配器，旨在将杂乱无章的真实世界数据转化为干净、可供 AI 智能体直接使用的上下文。它解决了 LLM 应用中数据质量差、格式不统一★ 109