multimodal 第 3 页
本站收录 231 个带「multimodal」标签的 AI 开源项目（按 GitHub 星标从高到低，第 3 / 5 页）
Awesome-Reasoning-Foundation-ModelsAwesome-Reasoning-Foundation-Models 是一个精选列表，收录了关于推理基础模型的最新论文和基准测试。该项目旨在为研究人员和开发者★ 660
Hunyuan3D-OmniHunyuan3D-Omni 是腾讯开源的统一框架，用于可控生成高质量3D资产。它解决了传统3D建模耗时费力、难以精细控制的问题，支持从文本、图像或两者结合生成★ 645
blended-latent-diffusionBlended Latent Diffusion 是 SIGGRAPH 2023 论文的官方实现，用于文本驱动的图像局部编辑。它解决的是传统扩散模型在编辑图像时★ 631
RAG-Driven-Generative-AI这是一个面向开发者的RAG（检索增强生成）实战教程仓库，提供基于LlamaIndex、Deep Lake和Pinecone构建生成式AI应用的完整代码示例。项目★ 630
agentchainAgentChain 是一个基于 Python 的轻量级框架，旨在将多个大语言模型（LLM）和多模态模型串联起来，通过链式调用实现复杂任务的推理与编排。它解决了★ 612
raiRAI 是一个面向物理 AI 机器人的厂商无关智能体框架，基于 ROS 2 工具构建，旨在让机器人通过大语言模型完成复杂任务。它解决的核心问题是：传统机器人开发★ 603
tokenize-anythingTokenize Anything via Prompting 是一个来自 ECCV 2024 的视觉模型，旨在通过统一的提示框架将任意视觉概念（如物体、区域、★ 600
MMMUMMMU 是一个大规模多学科多模态理解与推理基准测试集，旨在评估和推动 AI 模型在专家级通用人工智能（AGI）方向上的能力。它包含来自艺术、工程、科学等六大领★ 598
TensorSharpTensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎，专门用于加载和运行 GGUF 格式的模型。它解决的是 .NET 生态中缺少高性★ 596
blended-diffusionBlended Diffusion 是 CVPR 2022 论文的官方实现，提出了一种基于扩散模型的文本驱动图像编辑方法。它解决的是传统文本到图像生成模型难以对★ 587
GromaGroma 是一个基于多模态大语言模型（MLLM）的视觉定位模型，核心创新在于“局部视觉标记化”（Localized Visual Tokenization）。★ 587
alan-sdk-reactnativeAlan AI SDK for React Native 是一个将语音助手能力集成到 React Native 应用中的开发工具包。它解决了移动应用内缺乏自然语★ 573
LLaVA-MiniLLaVA-Mini 是一个统一的大规模多模态模型（LMM），旨在高效处理图像、高分辨率图像和视频的理解任务。它解决了传统多模态模型在处理高分辨率图像和视频时计★ 573
Awesome-Multimodal-ModelingAwesome-Multimodal-Modeling 是一个面向多模态建模领域的精选资源清单，系统整理了 MLLM（多模态大语言模型）、UMM（统一多模态模型★ 547
break-a-sceneBreak-A-Scene 是 SIGGRAPH Asia 2023 论文的官方实现，旨在从单张图像中提取多个概念（如物体、风格），并用于文本到图像的生成。它解★ 524
watch-skillwatch-skill 是一个面向 AI 智能体的视频理解与自我验证工具，旨在将视频、直播流和智能体屏幕录制转化为可搜索、带时间戳的证据，并借助内置的 THE ★ 508
telememTeleMem 是一个高性能的 Mem0 即插即用替代品，专注于为 AI 智能体提供长期对话记忆能力。它解决了传统记忆系统在语义重复、多模态信息处理上的痛点，通★ 494
antflyantfly 是一个用 Zig 语言构建的智能体框架，专注于解决 AI 应用中的信息检索与多模态数据处理问题。它集成了 RAG（检索增强生成）、语义搜索和弹性搜★ 470
RLAIF-VRLAIF-V 是一个面向多模态大语言模型的可信度优化框架，核心解决开源模型在视觉问答中过度自信、生成不可信内容的问题。它利用开源AI反馈（RLAIF）替代昂贵★ 462
clip-guided-diffusionclip-guided-diffusion 是一个基于 OpenAI CLIP 和扩散模型的文本生成图像工具，提供命令行接口和 Python 模块。它解决了早期★ 459
clawappClawApp 是一个专为 OpenClaw AI 智能体打造的移动端聊天客户端，以 PWA 和 APK 形式提供。它解决的是在手机上无法方便地与 OpenCl★ 445
AmadeusAmadeus 是一个面向桌面的实时多模态智能体，目标是从桌面助手逐步演进为常驻的 AI 操作系统界面（当前 0.17 α 版）。它解决的是传统桌面 AI 助手★ 442
Open-LLaVA-NeXTOpen-LLaVA-NeXT 是一个开源实现，旨在复现和训练 LLaVA-NeXT 多模态大模型。它解决了社区中缺乏完整、可复现的 LLaVA-NeXT 训练★ 439
DALLE-mtfDALLE-mtf 是 OpenAI 官方发布的 DALL·E 模型在 mesh-tensorflow 框架下的实现，用于大规模训练文本生成图像模型。它解决了原★ 429
OlympusOlympus 是一个面向计算机视觉任务的通用任务路由器，由 CVPR 2025 Highlight 论文官方开源。它旨在解决多模态大模型（如 LLaVA）在处★ 427
alan-sdk-pcfAlan AI SDK for Power Apps 是一个将对话式AI能力嵌入微软Power Apps的低代码开发工具包。它通过Power Apps Comp★ 424
AGI-PapersAGI-Papers 是一个精选的 AI 前沿论文归档项目，聚焦智能体（Agents）、模型架构（Architecture）、训练方法（Training）、检索★ 423
reconstruction-alignmentReconstruction Alignment 是 ICLR 2026 论文的官方实现，旨在通过自监督学习提升统一多模态模型（如文本到图像、图像编辑、图像理解★ 419
OPERAOPERA是一个针对多模态大语言模型幻觉问题的开源工具，源自CVPR 2024 Highlight论文。它通过过度信任惩罚和回溯分配机制，有效缓解模型在生成文本★ 415
EasyInstructEasyInstruct 是一个面向大语言模型（LLM）的指令处理框架，旨在简化指令数据的构建、处理和评估流程。它解决了研究人员和开发者在准备微调或评估数据时，★ 407
quick-start-guide-to-llms这是《大型语言模型快速入门指南》一书的官方代码仓库，配套书籍内容，提供了一系列 Jupyter Notebook 示例，帮助读者从零开始理解大语言模型的核心概念★ 399
ImageIndexerImageIndexer 是一个本地优先的图像索引与标注工具，用 Python 编写。它解决的是个人或小团队海量图片难以检索和管理的问题。核心能力是自动扫描指定★ 397
World-SimulatorWorld-Simulator 是一个围绕“模拟真实世界”主题的学术资源聚合项目，收录了 IEEE TPAMI 2026 论文《Simulating the R★ 394
mega-data-factorymega-data-factory 是一个面向大规模基础模型训练的多模态数据流水线框架，专注于解决数据质量与数据规模之间的平衡问题。它提供了一套从数据采集、清洗★ 380
NanoLLMNanoLLM 是一个专注于本地大模型推理优化的开源工具库，提供类似 HuggingFace 的简洁 API，支持模型量化、视觉/语言模型、多模态智能体、语音处★ 380
lmms-finetunelmms-finetune 是一个极简的多模态大模型微调代码库，旨在降低 LMM（Large Multimodal Model）微调的门槛。它支持多种主流模型，★ 374
Awesome-Multimodal-Recommender-Systems这是一个持续更新的多模态推荐系统论文资源列表，面向推荐系统研究者和工程师，系统整理了多模态推荐领域的学术论文，按主题分类收录，方便快速查找和跟踪前沿进展。核心能★ 366
Scientific-LLM-SurveyScientific-LLM-Survey 是一份关于科学领域大语言模型的系统性综述，聚焦生物与化学两大核心领域。项目以论文形式梳理了LLM在分子表示、蛋白质结★ 360
Book-of-MLM《多模态大模型：新一代人工智能技术范式》一书的官方配套教学资源库，由中国人民大学高瓴人工智能学院长聘副教授卢志武团队维护。项目旨在为读者和研究者提供系统性的多模★ 330
LLMInternSkillLLMInternSkill 是一个面向大模型方向求职者的开源工具箱，以 Codex Skill 形式提供简历优化、职位匹配、证据审查、面试模拟和项目挖掘五大核★ 327
Multimodal-Recommendation-LibraryMultimodal-Recommendation-Library 是一个面向多模态推荐研究的 Python 开源库，持续收录并整理图像、文本等多媒体信息与用户★ 319
RLHF-VRLHF-V 是一个面向多模态大语言模型（MLLMs）的可信行为对齐框架，核心解决模型在视觉对话中产生幻觉（如描述不存在的物体）的问题。它通过收集细粒度的修正性★ 311
Awesome-Multimodal-LLM-Autonomous-Driving这是一个聚焦多模态大语言模型（MLLM）在自动驾驶领域应用的精选资源列表，源自WACV 2024综述论文。项目系统梳理了该交叉方向的研究进展，包括数据集、模型架★ 311
embodied-agentsembodied-agents 是一个旨在将最先进的 Transformer 模型无缝集成到机器人技术栈中的开源项目。它主要解决机器人与大模型（如视觉语言模型）★ 302
hflowhflow 是面向机器人团队的 Python SDK，用于在训练 AI 模型前验证数据质量。机器人训练数据常来自多传感器采集（摄像头、激光雷达、IMU、关节状态★ 302
LRV-InstructionLRV-Instruction 是一个用于缓解大型多模态模型（LMM）幻觉问题的开源项目，其核心方法是通过鲁棒的指令微调来提升模型对视觉内容的忠实度。项目针对当★ 297
VideoGPT-plusVideoGPT-plus 是论文《VideoGPT+: Integrating Image and Video Encoders for Enhanced V★ 295
OpenSearch-VLOpenSearch-VL 是一个训练多模态深度搜索智能体的开源方案，旨在解决传统文本搜索无法理解图像、图表等视觉信息的问题。它通过高质量数据筛选、多样化的视觉★ 294
py-idppy-idp 是一个面向 Python 的智能文档处理（IDP）框架，目标是把发票、合同、表单等非结构化文档自动转成结构化数据。它同时支持 12 种以上 LLM★ 286
doubao2apidoubao2api 是一个通过逆向工程将字节跳动旗下豆包（Doubao）的私有接口转换为 OpenAI 兼容 REST 服务的开源项目。它解决了开发者无法直接★ 284