vision-language-model 第 1 页

本站收录 86 个带「vision-language-model」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)

LLaVA视觉指令微调(Visual Instruction Tuning)的开创性工作,NeurIPS 2023 Oral 论文。通过指令微调赋予视觉语言模型 GPT-★ 25,077X-AnyLabelingX-AnyLabeling 是一款轻量、高效、跨平台的桌面标注工具,专为文本、图像、视频和多模态数据设计。它集成了丰富的内置标注工具(如矩形框、多边形、关键点等★ 10,963InternVLInternVL 是一个开源的多模态对话模型家族,旨在成为 GPT-4o 的开源替代方案,在 CVPR 2024 上获得 Oral 论文。它解决了开源社区缺乏高★ 10,169minimind-vMiniMind-V 是一个从零开始训练视觉多模态大模型(VLM)的开源项目,目标是在极低资源条件下(如单张消费级显卡)用约2小时训练出一个仅65M参数的小型视★ 8,840mlx-vlmMLX-VLM 是一个专为 Mac 用户设计的视觉语言模型(VLM)推理与微调工具包,基于 Apple 的 MLX 框架构建。它解决了在 Mac 上运行大型多模★ 5,847MineContextMineContext 是一个主动式的上下文感知 AI 助手,基于 Context-Engineering 理念构建,结合 ChatGPT Pulse 技术,旨★ 5,547align-anythingAlign Anything 是一个面向全模态模型的对齐训练框架,旨在解决多模态模型(文本、图像、音频、视频等)在人类反馈对齐方面的碎片化问题。它提供统一的训练★ 4,669lmms-evallmms-eval 是一个面向多模态大模型的一站式评测工具包,支持文本、图像、视频和音频任务的统一评估。它解决了多模态模型评测标准不一、任务分散、复现困难的问题★ 4,497DeepSeek-VLDeepSeek-VL 是深度求索推出的开源视觉语言模型,旨在弥合真实世界视觉理解与语言模型之间的鸿沟。它解决的是多模态理解问题,即让模型能同时处理图像和文本,★ 4,193MiniMax-01MiniMax-01 是 MiniMax 官方发布的模型仓库,包含 MiniMax-Text-01 和 MiniMax-VL-01 两个模型,分别对应大型语言模★ 3,474OGAMOGAM 是一款面向手机和 Mac 的离线 AI 全能工具箱,目标是把原本依赖云端 API 的多种 AI 能力全部搬到本地设备上运行。它基于 GGUF 格式的本★ 3,382InternLM-XComposerInternLM-XComposer 是上海人工智能实验室推出的多模态大模型系统,最新版本 2.5-OmniLive 专注于长时流式视频与音频的实时交互。它解决★ 2,926CradleCradle 是一个旨在实现通用计算机控制(GCC)的智能体框架,是这一领域的首次尝试。它让智能体能够像人类一样操作任何计算机软件,通过标准化通用环境,以最小化★ 2,602video-search-and-summarization这是NVIDIA推出的视频搜索与摘要参考架构(VSS Blueprint),旨在帮助开发者快速构建GPU加速的视频分析智能体。它解决了传统视频分析中检索效率低、★ 1,986Qwen-VL-Series-Finetune这是阿里云 Qwen-VL 系列多模态大模型的开源微调实现,面向需要让视觉语言模型适配自有数据的开发者。项目支持 Qwen2-VL、Qwen2.5-VL、Qwe★ 1,983Awesome-LLM4ADAwesome-LLM4AD 是一个持续更新的精选资源列表,聚焦于大语言模型(LLM)、视觉语言模型(VLM)、视觉语言动作模型(VLA)以及世界模型在自动驾驶★ 1,906vllm-mlxvllm-mlx 是一个专为 Apple Silicon 芯片设计的开源推理服务器,兼容 OpenAI 和 Anthropic API 协议。它解决了在 Mac★ 1,655OvisOvis是一个多模态大语言模型(MLLM)架构,旨在从结构上对齐视觉和文本嵌入。它解决了传统多模态模型在融合视觉与语言信息时存在的语义鸿沟问题,通过创新的嵌入对★ 1,539thepipethepipe 是一个基于视觉语言模型(VLM)的文档数据清洗工具,专门解决从复杂文档(如扫描件、PDF、PPT、表格、手写笔记等)中提取干净结构化数据的问题。★ 1,530mlx-tunemlx-tune 是一个专为 Apple Silicon Mac 设计的 LLM 微调工具,基于 MLX 框架原生运行,让开发者无需云端 GPU 即可在本地完成★ 1,472awesome-japanese-llm这是一个专门汇总日本语大语言模型(LLM)资源的精选清单项目,旨在解决日语NLP领域模型分散、信息难找的问题。它系统整理了各类支持日语的LLM,包括开源模型、商★ 1,447agent-vision-toolkitagent-vision-toolkit 是一个为纯文本大模型补上视觉能力的开源工具箱,核心解决 Claude Code、Codex、OpenCode 等编码智★ 1,261LLaVA-OneVision-2LLaVA-OneVision-2 是一个完全开源的多模态训练框架,目标是把视觉语言模型(VLM)的训练门槛降下来,让研究者和开发者不必依赖闭源配方也能复现和定★ 1,235VisRAGVisRAG 是一个基于视觉语言模型(VLM)的解析免检索增强生成(RAG)框架。传统 RAG 依赖文本解析(如 PDF 转文本),而 VisRAG 直接将文档★ 991groundingLMMGLaMM(Grounding Large Multimodal Model)是CVPR 2024提出的首个能够将自然语言响应与对象分割掩码无缝集成的多模态大模★ 969Chat-UniViChat-UniVi 是一个统一图像与视频理解的多模态大语言模型,由 CVPR 2024 Highlight 论文提出。它通过一种统一的视觉表示方法,将图像和视★ 945dsh-vision-toolkitdsh-vision-toolkit 是一个为纯文本大模型补上视觉能力的工具箱,以 DeepSeek Harness 插件形式提供。它解决的核心问题是:很多文本★ 945ValenValen 是一个面向文本、图像和视频的开源轻量级多模态决策模型项目,目标是把「感知输入 + 结构化决策输出」做成可自行训练、自行部署的小型模型。它解决的是传统★ 915OpenCUAOpenCUA 是一个为计算机使用智能体(Computer-Use Agents)提供开放基础的开源项目,入选 NeurIPS 2025 Spotlight。它★ 877VoxPoserVoxPoser 是一个将大语言模型(LLM)与机器人操作相结合的框架,旨在让机器人仅通过自然语言指令就能完成复杂的物理操作任务。它解决了传统机器人编程需要专业★ 839Awesome-Robotics-3DAwesome-Robotics-3D 是一个精选资源列表,专注于大模型(LLM/VLM)时代下机器人领域的 3D 视觉研究。它系统整理了相关论文、代码和网站,★ 824OmniVinciOmniVinci 是一个全模态大语言模型,旨在联合理解视觉、音频和语言信息。它解决的是传统多模态模型往往只支持文本与图像,而难以同时处理音频、视频等多种模态数★ 683ARIS-in-AI-OfferARIS-in-AI-Offer 是一个面向 AI 领域秋招的中英双语面试速查表项目,由 ARIS 工具链自动生成。它解决 AI 求职者备考资料分散、更新不及时★ 653SpatialVIDSpatialVID 是一个面向视频生成与空间智能研究的大规模视频数据集,由 CVPR 2026 论文提出。它解决了现有视频数据集缺乏空间标注、难以支撑 4D ★ 614GromaGroma 是一个基于多模态大语言模型(MLLM)的视觉定位模型,核心创新在于“局部视觉标记化”(Localized Visual Tokenization)。★ 587LLaVA-MiniLLaVA-Mini 是一个统一的大规模多模态模型(LMM),旨在高效处理图像、高分辨率图像和视频的理解任务。它解决了传统多模态模型在处理高分辨率图像和视频时计★ 573Multi-Modality-ArenaMulti-Modality-Arena 是一个基于 Gradio 构建的多模态模型评测平台,灵感来自 Chatbot Arena,但专注于视觉-语言模型(VL★ 567VAGENVAGEN 是一个面向多轮视觉语言模型(VLM)智能体的世界模型强化学习框架,论文成果被 NeurIPS 2025 收录。它要解决的问题是:现有 VLM 智能体★ 524InstructCVInstructCV 是一个基于指令微调文本到图像扩散模型的视觉通用框架,源自 ICLR 2024 论文。它旨在解决传统视觉模型任务单一、泛化能力弱的问题,通过★ 463Open-LLaVA-NeXTOpen-LLaVA-NeXT 是一个开源实现,旨在复现和训练 LLaVA-NeXT 多模态大模型。它解决了社区中缺乏完整、可复现的 LLaVA-NeXT 训练★ 439GroundingPIGroundingPI 是一个面向物理智能(具身智能)的 4B 参数 grounding 基础模型,核心目标是把视觉语言模型中的“定位”能力统一到一个模型里。它★ 439OlympusOlympus 是一个面向计算机视觉任务的通用任务路由器,由 CVPR 2025 Highlight 论文官方开源。它旨在解决多模态大模型(如 LLaVA)在处★ 427OPERAOPERA是一个针对多模态大语言模型幻觉问题的开源工具,源自CVPR 2024 Highlight论文。它通过过度信任惩罚和回溯分配机制,有效缓解模型在生成文本★ 416Stream-OmniStream-Omni 是一个类似 GPT-4o 的多模态对话助手,能够同时处理文本、语音和视觉输入,并支持多种模态组合的交互。它解决了传统对话系统只能处理单一★ 394colpali-cookbooksColPali Cookbooks 是一个面向多模态 RAG(检索增强生成)场景的实战教程仓库,专注于 ColPali 模型的微调与适配。它解决了传统文本嵌入无★ 357EvoCUAEvoCUA 是一个正在演进中的计算机使用智能体(Computer Use Agent)开源项目,旨在让 AI 像人一样操作电脑,自动完成跨应用的复杂任务。它解★ 355franken_ocrfranken_ocr 是一个用纯 Rust 实现的 CPU 端 OCR 推理引擎,目标模型是百度 Unlimited-OCR——一个基于 DeepSeek-O★ 346Awesome-Multimodal-LLM-Autonomous-Driving这是一个聚焦多模态大语言模型(MLLM)在自动驾驶领域应用的精选资源列表,源自WACV 2024综述论文。项目系统梳理了该交叉方向的研究进展,包括数据集、模型架★ 311embodied-agentsembodied-agents 是一个旨在将最先进的 Transformer 模型无缝集成到机器人技术栈中的开源项目。它主要解决机器人与大模型(如视觉语言模型)★ 302colettecolette 是一个多模态 RAG(检索增强生成)工具,目标是在本地对各类技术文档进行搜索与交互。它解决的是传统文本 RAG 无法处理图表、示意图、扫描页等视★ 302