multimodal 第 5 页
本站收录 231 个带「multimodal」标签的 AI 开源项目（按 GitHub 星标从高到低，第 5 / 5 页）
bedrock-claude-chatbotbedrock-claude-chatbot 是一个基于 Amazon Bedrock 大模型构建的个人私有聊天机器人，主要解决企业或个人在对话场景中对数据隐私★ 109
M3ExamM3Exam 是一个多语言、多模态、多层次的 LLM 评测基准，提供配套数据与代码，用于全面检验大语言模型在多样化考试场景中的能力表现，是学术研究者评估模型综合★ 105
Graph-CADGraph-CAD 是一个面向文本到 CAD 建模任务的开源项目，旨在通过学习层级化且几何感知的图表示来提升文本生成 CAD 模型的质量。它解决了现有方法在将自★ 105
LodeDBLodeDB 是一个用 Rust 编写、提供 Python 接口的嵌入式向量数据库，主打本地优先、默认精确检索、多模态与 GPU 加速。它要解决的问题是：现有向★ 103
openrouter-mcp-multimodal这是一个基于 Model Context Protocol (MCP) 的服务器，用于连接 OpenRouter 平台，让 Claude Desktop、Cur★ 99
Awesome-AI-PapersAwesome-AI-Papers 是一个用于收集人工智能领域论文和对应代码的精选列表仓库。它旨在解决 AI 研究者、工程师和学生难以高效追踪前沿研究、找到论文★ 99
Awesome-AVIAwesome-AVI 是一个关于音频-视觉智能（Audio-Visual Intelligence）的精选资源列表，旨在系统梳理该领域的前沿研究、工具和数据集★ 92
MM4TSAMM4TSA 是一个专注于多模态时间序列分析（Multi-Modalities for Time Series Analysis）的论文与资源清单项目。它系统整★ 91
achatbotachatbot 是一个开源的聊天机器人架构，专为语音、视觉及多模态助手设计，支持本地（CPU/GPU 受限）和远程（I/O 受限）运行。它整合了 ASR（语音★ 90
openmelonopenmelon 是一个面向多模态内容生产的智能体运行时，旨在让 AI 内容创作流程可复现、可管理。它解决了当前 AI 生成内容过程中流程混乱、难以复现和缺乏★ 89
genrlGenRL 是一个基于多模态基础世界模型的强化学习框架，旨在将自然语言和视频提示转化为具体可执行的动作序列。它通过将语言和视频输入编码为潜在世界模型状态序列，再★ 87
VideoRAGVideoRAG 是一个面向视频语料的检索增强生成（RAG）框架，旨在解决传统 RAG 系统无法有效处理视频内容的问题。它利用多模态大模型（如 GPT-4V）将★ 86
google-veo3-from-scratch这是一个从零开始、逐步实现 Google Veo 3 架构的开源项目，旨在帮助开发者深入理解 Veo 3 视频生成模型的内部原理。项目以 Jupyter Not★ 83
Impossible-VideosImpossible-Videos 是 ICML 2025 论文的官方基准与代码库，专注于视频生成与理解中的‘不可能视频’挑战。这类视频包含物理上不可能或高度反★ 82
WeiClawWeiClaw 是一个开源项目，旨在通过一条命令将微信接入任意 AI Agent，让微信成为 AI 的交互入口。它基于 Node.js 构建，支持多种主流 AI★ 78
Awesome-spatial-visual-reasoning-MLLMs这是一个聚焦空间/视觉推理多模态大模型（MLLMs）的精选资源仓库，特别关注具身智能应用。项目系统梳理了当前主流空间推理MLLMs的论文、代码和评测基准，涵盖视★ 72
aiml-companionAI-ML Companion 是一个交互式学习平台，旨在通过可视化方式帮助用户理解人工智能和机器学习。它包含22个学习轨道和300多个模块，提供实时可视化演示★ 72
VideoLucyVideoLucy 是一个面向长视频理解的开源项目，发表于 NeurIPS 2025，核心创新在于“深度记忆回溯”（Deep Memory Backtracki★ 69
azure-ai-search-multimodal-sample这是一个基于Azure的多模态RAG（检索增强生成）示例应用，旨在解决传统文本检索无法处理图片、视频等多模态内容的问题。它利用Azure AI Search进行★ 68
VisualWebBenchVisualWebBench 是一个针对多模态大语言模型（MLLMs）在网页理解与定位（Grounding）任务上的评估框架，源自同名论文。它解决的核心问题是：★ 68
CausalMMCausalMM 是一个针对多模态大语言模型（MLLM）幻觉问题的开源项目，发表于 ICLR 2025。它主要解决因模态先验（如文本先验）导致的幻觉，即模型在生★ 67
cortexcortex 是一个开源的 AI 后端控制平面，专注于模型路由、智能体工具和私有工作空间管理。它提供 OpenAI 兼容的 API 接口，让开发者可以无缝切换或★ 66
Generative_Deep_Learning_2nd_Edition这是《만들면서 배우는 생성 AI 2판》（韩文版《动手学生成AI 第二版》）一书的官方代码仓库，包含书中所有示例代码和Jupyter Notebook教程。项★ 66
openveniceopenvenice 是一个开源的、可定制的 Venice AI 前端界面，旨在将多种 AI 功能集成于一个统一的用户界面中。它解决了用户需要切换不同工具来处理★ 64
DataClaw0DataClaw 是一个面向多模态数据智能处理的开源项目，核心目标是解决原始数据流到高质量训练数据的自动化加工问题。它通过 Agentic 方式，结合视觉语言模★ 62
Time-Series-Reasoning-Survey这是一个关于时间序列与大语言模型结合的研究综述项目，收录于TMLR 2026。项目系统梳理了推理（Reasoning）和智能体（Agentic）系统在时间序列分★ 57
MIRAGEMIRAGE 是一个多模态基础模型与基准测试集，专为视网膜光学相干断层扫描（OCT）图像的全面分析而设计，相关论文发表于 npj Digital Medicin★ 57
PhyXPhyX 是一个专注于物理推理能力评估的开源基准测试项目，旨在回答“你的模型是否具备物理推理的‘智慧’”。它通过设计一系列需要物理常识和因果推断的任务，来测试大★ 55
IISANIISAN 是一个面向推荐系统的多模态基础模型高效适配开源项目。它解决了在推荐场景中直接使用大规模多模态模型（如视觉-语言模型）时计算成本高、适配效率低的问题。★ 55
onellmonellm 是一个 Python 库，为开发者提供统一的接口来调用数百种大语言模型（LLM），包括 OpenAI、Claude、Gemini、Mistral ★ 52
TA2.0音频驱动的数字人口型与视频生成方案：输入参考图片和语音音频，即可生成口型同步的说话头像视频，适合数字人克隆与视频内容生产。★ 6