multimodal 第 2 页
本站收录 231 个带「multimodal」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 5 页）
HuixiangDouHuixiangDou 是一个基于大语言模型（LLM）的技术问答助手，专门解决群聊场景中的技术咨询问题。它针对微信群、飞书群等多人对话环境，通过检索增强生成（R★ 2,502
Awesome-Model-Quantization这是一个专注于模型量化领域的精选资源合集，系统整理了论文、基准测试、综述和工具。量化是压缩神经网络的核心技术，通过降低权重和激活值的数值精度来减少模型体积、加速★ 2,455
Awesome-Text-to-ImageAwesome-Text-to-Image 是一个聚焦文本到图像生成/合成领域的精选资源列表，旨在系统梳理该方向的研究进展、关键技术和开源工具。它解决了研究人员★ 2,447
stability-sdkstability-sdk 是 Stability AI 官方提供的 Python SDK，用于与 stability.ai 的 API 交互，核心是调用 St★ 2,437
InternVideoInternVideo 是一个面向多模态理解的开源视频基础模型项目，由上海人工智能实验室发布，相关论文发表于 ECCV2024。它旨在解决视频理解中模型泛化能力★ 2,410
DataDesignerDataDesigner 是 NVIDIA 开源的合成数据生成工具，基于 NeMo 框架构建。它解决的是高质量训练数据获取难、成本高的问题，允许用户从零开始或基★ 2,351
claude-real-videoclaude-real-video 是一个让 Claude 等大语言模型真正“看懂”视频的开源工具。它解决的是 LLM 无法直接处理视频的问题，通过从视频 UR★ 2,243
genai-processorsgenai-processors 是 Google 推出的轻量级 Python 库，用于构建和编排生成式 AI 的内容处理流水线。它把文本、图像、音频等多模态输★ 2,120
parlorparlor 是一个运行在 Apple 芯片设备上的实时多模态 AI 助手，功能类似 GPT-Live，但完全本地化。它解决了云端 AI 助手延迟高、隐私泄露和★ 2,077
Show-oShow-o 是一个基于单一 Transformer 架构的统一多模态模型，旨在同时处理视觉与文本的理解与生成任务。传统上，视觉理解和生成通常由不同模型或复杂组★ 1,982
Qwen-VL-Series-Finetune这是阿里云 Qwen-VL 系列多模态大模型的开源微调实现，面向需要让视觉语言模型适配自有数据的开发者。项目支持 Qwen2-VL、Qwen2.5-VL、Qwe★ 1,980
BitNetBitNet 是微软论文《BitNet: Scaling 1-bit Transformers for Large Language Models》的 PyTo★ 1,947
DeTikZifyDeTikZify是一个将科学图表和手绘草图自动转换为TikZ代码的开源AI模型。它解决了科研人员在撰写LaTeX文档时，需要手动编写复杂TikZ代码来绘制矢量★ 1,822
alan-sdk-androidAlan AI 是一个面向 Android 应用的对话式 AI 平台，提供完整的语音助手解决方案。开发者通过 Alan Studio 可视化界面设计对话流程，无★ 1,802
WeMM-EmbeddingWeMM-Embedding 是腾讯微信视觉团队开源的多模态通用嵌入模型系列，目标是把文本、图像等不同模态映射到统一向量空间，让多模态理解与检索用同一套表示完成★ 1,776
alan-sdk-flutterAlan AI 是一个面向 Flutter 应用的对话式 AI 平台 SDK，旨在让开发者通过几行代码为应用集成语音助手和聊天机器人。它解决了应用内自然语言交互★ 1,752
alan-sdk-ionicAlan AI SDK for Ionic 是一个让 Ionic 应用快速获得对话式 AI 能力的官方 SDK。它解决了移动应用内构建复杂语音交互的难题，开发者★ 1,644
pixeltablePixeltable 是一个面向 AI 数据应用的多模态数据后端，旨在统一管理图像、视频、文本等非结构化数据及其相关的元数据和 AI 模型输出。它解决了 AI ★ 1,639
mllmmllm 是一个专为移动设备设计的高效多模态大语言模型推理引擎，使用 C++ 编写。它解决了在手机等资源受限设备上运行多模态大模型（如视觉-语言模型）时面临的内★ 1,629
sglang-omniSGLang-Omni 是一个基于 SGLang 的高性能多模态推理服务框架，专注于语音相关模型（TTS、ASR）及全模态（omni）模型的部署。它解决了传统语★ 1,562
OvisOvis是一个多模态大语言模型（MLLM）架构，旨在从结构上对齐视觉和文本嵌入。它解决了传统多模态模型在融合视觉与语言信息时存在的语义鸿沟问题，通过创新的嵌入对★ 1,532
thepipethepipe 是一个基于视觉语言模型（VLM）的文档数据清洗工具，专门解决从复杂文档（如扫描件、PDF、PPT、表格、手写笔记等）中提取干净结构化数据的问题。★ 1,528
ha-llmvisionha-llmvision 是一个将视觉语言模型（VLM）集成到 Home Assistant 的开源项目，旨在为家庭自动化系统赋予视觉理解能力。它解决了传统智能★ 1,504
awesome-japanese-llm这是一个专门汇总日本语大语言模型（LLM）资源的精选清单项目，旨在解决日语NLP领域模型分散、信息难找的问题。它系统整理了各类支持日语的LLM，包括开源模型、商★ 1,443
claude-video-visionclaude-video-vision 是一个 Claude Code 插件，通过 MCP 协议为 Claude 赋予观看和理解视频的能力。它解决的核心问题是：★ 1,389
xtreme1Xtreme1 是一个面向多模态训练数据的一体化标注平台，支持 3D LiDAR 点云、2D 图像和大语言模型（LLM）数据的标注与处理。它解决的是 AI 团队★ 1,387
awesome-vlm-architectures这是一个精心整理的视觉语言模型（VLM/MLLM）架构目录，收录了155+个相关模型，涵盖论文、架构图、训练配方、数据集以及发布时间线。项目以可视化的方式呈现多★ 1,339
airunnerAirunner 是一个面向桌面端的离线 AI 推理引擎，集成了图像生成、实时语音对话、LLM 聊天机器人和自动化工作流。它解决的是用户对 AI 工具隐私和本地★ 1,318
verl-omniverl-omni 是字节跳动 verl 生态下面向多模态与全模态模型的强化学习训练框架，专注解决扩散模型（diffusion）和 omni 模型在 RL 后训★ 1,310
agent-vision-toolkitagent-vision-toolkit 是一个为纯文本大模型补上视觉能力的开源工具箱，核心解决 Claude Code、Codex、OpenCode 等编码智★ 1,238
LLaMA-MeshLLaMA-Mesh 是一个将 3D 网格生成与语言模型统一的开源项目，旨在让大语言模型直接生成可用的 3D 网格文件（如 OBJ 格式），无需依赖外部专用模型★ 1,173
dsh-vision-routerdsh-vision-router 是给纯文本 DeepSeek Harness（dsh）智能体装上"眼睛"的插件。dsh 这类 agent 本身只能处理文字，★ 1,158
alan-sdk-cordovaAlan AI SDK for Cordova 是一个将对话式 AI 助手集成到 Cordova 应用中的开发工具包。它解决了移动应用内缺乏自然语言交互能力的问★ 1,130
MOVAMOVA 是一个统一的多模态基础模型，能够在一个模型中同时生成同步的视频和音频，解决了传统视频生成中音画分离、需要额外配音或后期对齐的痛点。它基于扩散模型架构，★ 1,126
XrayGLMXrayGLM是首个会看胸部X光片的中文多模态医学大模型，基于VisualGLM-6B架构，通过中文胸部X光影像报告数据集进行微调，能够对输入的胸部X光片生成中★ 1,087
ONE-PEACEONE-PEACE 是一个跨视觉、音频、语言三种模态的通用表示模型，旨在探索一种能处理无限模态的统一表征框架。它解决了传统模型只能处理单一或少数模态、难以共享和★ 1,060
PointLLMPointLLM 是一个让大语言模型直接理解三维点云的开源多模态模型，解决了传统大模型只能处理文本和图像、无法感知三维结构的问题。它首次将点云编码器与 LLaM★ 1,058
tongflowtongflow 是一个以模态优先（Modality-First）为设计理念的生成式 AI 平台，用 TypeScript 构建，面向需要把文本、图像、3D、文★ 1,054
vectordb-recipesvectordb-recipes 是一个围绕向量数据库和 LLM 的多模态 AI、RAG 与智能体应用示例与教程集合。它旨在解决开发者在使用向量检索构建实际 A★ 982
rag-timeRAG Time 是一个为期五周的开源学习路径，旨在帮助开发者系统掌握检索增强生成（RAG）技术。该项目以 Jupyter Notebook 形式呈现，从基础概★ 912
NEONEO 是一个从第一性原理出发构建的原生视觉-语言模型系列，旨在解决当前多模态模型依赖外部视觉编码器、架构复杂且训练不透明的问题。项目强调端到端的原生多模态理解★ 906
AnyGPTAnyGPT 是一个基于离散序列建模的统一多模态大语言模型，旨在实现任意模态之间的相互转换与理解。它解决了传统多模态模型通常只支持文本与其他单一模态（如图像或语★ 887
lmms-enginelmms-engine 是一个面向多模态大模型训练的统一引擎，旨在简化视频、图像、音频与文本等多模态数据的模型训练流程。它解决了多模态模型训练中框架碎片化、配置★ 832
haloHalo 是由 White Circle 开源的大语言与多模态模型训练框架，用 Python 编写。它面向从微调到强化学习后训练的完整流程，核心能力包括分布式训★ 829
Autoregressive-Models-in-Vision-Survey这是一份关于视觉自回归模型（AR models）的综述论文项目，发表于TMLR 2025。它系统梳理了自回归模型在计算机视觉领域的研究进展，涵盖图像生成、视频预★ 807
contrastorscontrastors 是一个基于 PyTorch 的对比学习训练工具库，专注于帮助研究者和工程师高效地训练对比学习模型。它解决了对比学习训练流程复杂、复现困难★ 804
Multimodal-AND-Large-Language-Models这是一个个人维护的多模态与大语言模型论文清单，作者每天从arXiv上挑选相关论文进行记录。项目以Markdown文件形式组织，按日期或主题分类，方便快速浏览和检★ 764
PaddleMIXPaddleMIX是百度飞桨生态下的多模态大模型套件，旨在统一支持主流多模态任务，包括图文理解、视觉问答、图像生成等。它集成了端到端的大规模多模态预训练模型和扩★ 721
VLM2VecVLM2Vec 是一个将视觉语言模型（VLM）适配为多功能嵌入模型的开源项目，核心解决多模态内容（图像、文本、视频等）的统一向量化表示问题。它提出了 MMEB（★ 695
second-brainSecond Brain 是一个智能体框架，定位为个人知识工作流的“操作系统”。它通过本地文件智能解析、工作流自动化和大语言模型（LLM）协作，帮助用户自动完成★ 671