multimodal 第 7 页
本站收录 348 个带「multimodal」标签的 AI 开源项目（按 GitHub 星标从高到低，第 7 / 7 页）
ai--manusai--manus 是一个通用型 AI Agent 系统，目标是在沙箱环境中运行多种工具与操作，把大模型的函数调用能力落到可执行的任务流程里。项目支持 Open★ 125
manus--aimanus--ai 是一个通用型 AI Agent 系统，目标是在隔离的沙箱环境中运行多种工具和操作，把大模型的推理能力与真实执行能力结合起来。它支持函数调用、★ 125
ai--manusai--manus 是一个通用型 AI Agent 系统，核心思路是让大模型在沙箱环境中调用并执行各类工具与操作，从而完成超出纯对话范围的任务。项目整合了 AI★ 124
manus--aimanus--ai 是一个通用型 AI Agent 系统，目标是在受控沙箱环境中运行多种工具与操作，让大模型不仅能对话，还能实际执行任务。项目围绕工具调用（fu★ 124
ai--manusai--manus 是一个通用型 AI Agent 系统，目标是在沙箱环境中运行多种工具与操作，让大模型从对话走向实际执行。项目围绕函数调用与多模态能力构建，技★ 124
guardian-sdkGuardian SDK 是 Ethicore Engine™ 的开源组件，一个专注于 AI 安全、伦理与合规的防护平台。它通过多层分析流水线，保护 AI 应用★ 123
NorthCUANorthCUA 是一个开源的桌面与网页智能体执行框架，目标是把用户的一句意图直接转化为可执行的工作流。它面向需要让 AI 操作图形界面完成多步骤任务的开发者，★ 122
model-composemodel-compose 是一个受 docker-compose 启发的 AI 服务部署工具，旨在通过一个 YAML 文件快速定义和部署生产级的 AI 服务，★ 119
videodb-pythonVideoDB Python SDK 是访问 VideoDB 云服务的官方 Python 客户端。VideoDB 把视频当作可查询的数据库，而不是传统文件：上传★ 118
VT.aiVT.ai 是一个多模态 AI 聊天应用，核心特点是动态对话路由。它基于 Python 构建，集成了多种主流 LLM 后端（如 OpenAI、Ollama、ll★ 116
SensorLLMSensorLLM是EMNLP 2025的官方实现，旨在将大语言模型与运动传感器数据对齐，用于人类活动识别。它解决了传统HAR模型泛化能力差、难以理解复杂活动语★ 115
Modality-Integration-RateModality-Integration-Rate 是 ICCV 2025 论文的官方代码，提出了一种名为“模态整合率”（Modality Integratio★ 114
UniMedVLUniMedVL 是一个面向医疗领域的统一视觉语言模型，旨在同时处理医学图像的理解与生成任务。它通过“观察-知识-分析”框架，将多模态理解（如图像分类、报告生成★ 113
vector-inferencevector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架，目标是让团队在已有 HPC 调度系统上高效部署大模型推理，而不必额外搭建★ 111
DataClaw0DataClaw 是一个面向多模态数据智能处理的开源项目，核心目标是解决原始数据流到高质量训练数据的自动化加工问题。它通过 Agentic 方式，结合视觉语言模★ 109
LexoidLexoid 是一个开源的通用适配器，旨在将杂乱无章的真实世界数据转化为干净、可供 AI 智能体直接使用的上下文。它解决了 LLM 应用中数据质量差、格式不统一★ 109
bedrock-claude-chatbotbedrock-claude-chatbot 是一个基于 Amazon Bedrock 大模型构建的个人私有聊天机器人，主要解决企业或个人在对话场景中对数据隐私★ 109
Graph-CADGraph-CAD 是一个面向文本到 CAD 建模任务的开源项目，旨在通过学习层级化且几何感知的图表示来提升文本生成 CAD 模型的质量。它解决了现有方法在将自★ 107
LodeDBLodeDB 是一个用 Rust 编写、提供 Python 接口的嵌入式向量数据库，主打本地优先、默认精确检索、多模态与 GPU 加速。它要解决的问题是：现有向★ 107
M3ExamM3Exam 是一个多语言、多模态、多层次的 LLM 评测基准，提供配套数据与代码，用于全面检验大语言模型在多样化考试场景中的能力表现，是学术研究者评估模型综合★ 106
openrouter-mcp-multimodal这是一个基于 Model Context Protocol (MCP) 的服务器，用于连接 OpenRouter 平台，让 Claude Desktop、Cur★ 103
way-back-homeway-back-home 是一个基于 Python 的智能体（Agent）示例项目，围绕 Google 的 ADK（Agent Development Kit★ 101
Awesome-AI-PapersAwesome-AI-Papers 是一个用于收集人工智能领域论文和对应代码的精选列表仓库。它旨在解决 AI 研究者、工程师和学生难以高效追踪前沿研究、找到论文★ 100
AlignLedgerAlignLedger 是面向 RSI（递归自我改进）研究的人类反馈与数据治理基础设施，用 Python 实现。它要解决的问题是：模型对齐训练中，人工标注、审核★ 100
Awesome-AVIAwesome-AVI 是一个关于音频-视觉智能（Audio-Visual Intelligence）的精选资源列表，旨在系统梳理该领域的前沿研究、工具和数据集★ 94
achatbotachatbot 是一个开源的聊天机器人架构，专为语音、视觉及多模态助手设计，支持本地（CPU/GPU 受限）和远程（I/O 受限）运行。它整合了 ASR（语音★ 91
MM4TSAMM4TSA 是一个专注于多模态时间序列分析（Multi-Modalities for Time Series Analysis）的论文与资源清单项目。它系统整★ 91
VideoRAGVideoRAG 是一个面向视频语料的检索增强生成（RAG）框架，旨在解决传统 RAG 系统无法有效处理视频内容的问题。它利用多模态大模型（如 GPT-4V）将★ 90
openmelonopenmelon 是一个面向多模态内容生产的智能体运行时，旨在让 AI 内容创作流程可复现、可管理。它解决了当前 AI 生成内容过程中流程混乱、难以复现和缺乏★ 89
genrlGenRL 是一个基于多模态基础世界模型的强化学习框架，旨在将自然语言和视频提示转化为具体可执行的动作序列。它通过将语言和视频输入编码为潜在世界模型状态序列，再★ 87
google-veo3-from-scratch这是一个从零开始、逐步实现 Google Veo 3 架构的开源项目，旨在帮助开发者深入理解 Veo 3 视频生成模型的内部原理。项目以 Jupyter Not★ 85
Impossible-VideosImpossible-Videos 是 ICML 2025 论文的官方基准与代码库，专注于视频生成与理解中的‘不可能视频’挑战。这类视频包含物理上不可能或高度反★ 82
WeiClawWeiClaw 是一个开源项目，旨在通过一条命令将微信接入任意 AI Agent，让微信成为 AI 的交互入口。它基于 Node.js 构建，支持多种主流 AI★ 79
aiml-companionAI-ML Companion 是一个交互式学习平台，旨在通过可视化方式帮助用户理解人工智能和机器学习。它包含22个学习轨道和300多个模块，提供实时可视化演示★ 74
Awesome-spatial-visual-reasoning-MLLMs这是一个聚焦空间/视觉推理多模态大模型（MLLMs）的精选资源仓库，特别关注具身智能应用。项目系统梳理了当前主流空间推理MLLMs的论文、代码和评测基准，涵盖视★ 73
VideoLucyVideoLucy 是一个面向长视频理解的开源项目，发表于 NeurIPS 2025，核心创新在于“深度记忆回溯”（Deep Memory Backtracki★ 69
azure-ai-search-multimodal-sample这是一个基于Azure的多模态RAG（检索增强生成）示例应用，旨在解决传统文本检索无法处理图片、视频等多模态内容的问题。它利用Azure AI Search进行★ 68
VisualWebBenchVisualWebBench 是一个针对多模态大语言模型（MLLMs）在网页理解与定位（Grounding）任务上的评估框架，源自同名论文。它解决的核心问题是：★ 68
CausalMMCausalMM 是一个针对多模态大语言模型（MLLM）幻觉问题的开源项目，发表于 ICLR 2025。它主要解决因模态先验（如文本先验）导致的幻觉，即模型在生★ 67
cortexcortex 是一个开源的 AI 后端控制平面，专注于模型路由、智能体工具和私有工作空间管理。它提供 OpenAI 兼容的 API 接口，让开发者可以无缝切换或★ 66
Generative_Deep_Learning_2nd_Edition这是《만들면서 배우는 생성 AI 2판》（韩文版《动手学生成AI 第二版》）一书的官方代码仓库，包含书中所有示例代码和Jupyter Notebook教程。项★ 66
openveniceopenvenice 是一个开源的、可定制的 Venice AI 前端界面，旨在将多种 AI 功能集成于一个统一的用户界面中。它解决了用户需要切换不同工具来处理★ 65
MIRAGEMIRAGE 是一个多模态基础模型与基准测试集，专为视网膜光学相干断层扫描（OCT）图像的全面分析而设计，相关论文发表于 npj Digital Medicin★ 58
Time-Series-Reasoning-Survey这是一个关于时间序列与大语言模型结合的研究综述项目，收录于TMLR 2026。项目系统梳理了推理（Reasoning）和智能体（Agentic）系统在时间序列分★ 57
PhyXPhyX 是一个专注于物理推理能力评估的开源基准测试项目，旨在回答“你的模型是否具备物理推理的‘智慧’”。它通过设计一系列需要物理常识和因果推断的任务，来测试大★ 55
IISANIISAN 是一个面向推荐系统的多模态基础模型高效适配开源项目。它解决了在推荐场景中直接使用大规模多模态模型（如视觉-语言模型）时计算成本高、适配效率低的问题。★ 55
onellmonellm 是一个 Python 库，为开发者提供统一的接口来调用数百种大语言模型（LLM），包括 OpenAI、Claude、Gemini、Mistral ★ 52
TA2.0音频驱动的数字人口型与视频生成方案：输入参考图片和语音音频，即可生成口型同步的说话头像视频，适合数字人克隆与视频内容生产。★ 6