vlm 第 2 页
本站收录 99 个带「vlm」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 2 页）
yzmayzma 是一个用 Go 语言直接封装 llama.cpp 的本地推理框架，目标是让 Go 开发者无需依赖 CGO 或外部服务，就能在应用中嵌入大语言模型和多模★ 657
optimum-intelOptimum Intel 是 Hugging Face 与 Intel 合作推出的优化工具库，旨在通过 Intel 的 OpenVINO 等工具加速 Tran★ 624
FabricFabric 是一个受 Quartz Composer 启发的节点式创意编程工具，使用 Swift 编写，面向 macOS 平台。它把 3D 渲染、图像处理、计★ 604
raiRAI 是一个面向物理 AI 机器人的厂商无关智能体框架，基于 ROS 2 工具构建，旨在让机器人通过大语言模型完成复杂任务。它解决的核心问题是：传统机器人开发★ 603
video-recap-skills这是一个基于 Claude Code Skill 的视频解说自动生成工具。它利用 LLM（大语言模型）理解视频内容，结合 ASR（语音识别）提取字幕，再通过 T★ 582
video-recap-skillsvideo-recap-skills 是一套面向 Claude Code / Codex 的 Agent Skills 集合，目标是把任意视频自动加工成带中文解★ 582
Awesome-Multimodal-ModelingAwesome-Multimodal-Modeling 是一个面向多模态建模领域的精选资源清单，系统整理了 MLLM（多模态大语言模型）、UMM（统一多模态模型★ 547
awesome-vla-for-ad这是一个聚焦视觉-语言-动作模型（VLA）在自动驾驶领域应用的精选资源列表，系统梳理了该方向从过去到未来的研究脉络。项目解决了自动驾驶领域研究者难以快速获取VL★ 508
LightRFTLightRFT 是一个轻量、高效、支持全模态的强化微调（RFT）框架，核心思路是用奖励模型驱动训练，把强化学习引入大语言模型和多模态模型的微调流程。它解决了传★ 397
mega-data-factorymega-data-factory 是一个面向大规模基础模型训练的多模态数据流水线框架，专注于解决数据质量与数据规模之间的平衡问题。它提供了一套从数据采集、清洗★ 380
mobileClawmobileClaw 是一个开源的 Android AI 智能体运行时，旨在让 AI 直接操控手机完成自动化任务。它解决了传统自动化脚本难以应对复杂界面变化的问★ 379
EVEEVE是北京智源人工智能研究院（BAAI）推出的免编码器视觉语言模型系列。传统视觉语言模型通常依赖预训练的视觉编码器（如ViT）来提取图像特征，而EVE直接以像★ 376
embodied-agentsembodied-agents 是一个旨在将最先进的 Transformer 模型无缝集成到机器人技术栈中的开源项目。它主要解决机器人与大模型（如视觉语言模型）★ 302
llama_rosllama_ros 是一个把 llama.cpp 与 llava.cpp 封装进 ROS 2 的开源框架，让机器人开发者能直接在 ROS 2 节点里运行 GGU★ 268
VLM-AutoYOLOVLM-AutoYOLO 是一个面向目标检测的端到端自动标注与 YOLO 训练平台。它想解决的问题是：做目标检测时，人工画框标注图片和视频极其耗时，且标注完还要★ 267
BreezeAppBreezeApp 是联发创新基地开源的纯手机端 AI 应用，支持 Android 和 iOS，用户从应用商店下载后即可离线使用多种 AI 功能。项目核心是让普★ 243
PsyDIPsyDI 是一个基于大语言模型和视觉语言模型的心理测量对话助手，专注于实现个性化、渐进深入的心理学测评，目前以 MBTI 人格测试为典型应用场景。它通过对话式★ 228
ComfyUI-fal-APIComfyUI-fal-API 是一个将 fal.ai 平台 1400+ 生成式 AI 模型接入 ComfyUI 的官方自定义节点插件。它解决了 ComfyUI★ 225
Awesome-LLM-Papers-Comprehensive-Topics这是一个精选大语言模型（LLM）论文与代码仓库的清单，覆盖了从基础架构、训练方法到应用落地等非常全面的主题。它旨在解决LLM领域信息过载、论文检索困难的问题，通★ 223
NachoBotNachoBot 是一个基于 Maibot 核心修改而成的多功能笨蛋机器人，主要面向 QQ、Discord 等聊天平台，提供对话、角色扮演、B站互动等能力。它集★ 218
LMeterXLMeterX 是一个基于 Python 的通用 API 压测平台，专注于大模型推理服务与业务 HTTP 接口的性能测试。它解决传统压测工具难以适配 LLM 流★ 212
ICLR2026-Guide-CN这是一个针对ICLR 2026会议论文的中文导读项目。它解决了非英语母语研究者难以快速消化大量英文论文摘要和核心内容的问题。项目通过人工与LLM结合的方式，对I★ 181
OneJevOneJev 是一个多模态 System One 决策模型，目标是用一次前向传播，对屏幕、照片、视频和文本等输入给出带校准置信度的类型化答案。它解决的是 GUI★ 177
ax-llmax-llm 是爱芯元智（AXera）AI 芯片上的大模型部署工具，目标是把 LLM 和 VLM 推理搬到 AX620E、AX650、AX637 系列边缘芯片上★ 169
qapyqqapyq 是一个面向大规模图像/视频数据集的 AI 辅助媒体策展工具，专为 LoRA 和扩散模型训练流程设计。它解决了训练数据准备中繁琐的标注、裁剪和遮罩问题★ 164
surfer-h-cliSurfer-H-CLI 是一个基于 Holo1 模型驱动的智能体命令行工具，用于运行 Surfer-H 智能体。它通过视觉语言模型（VLM）实现网页自动化和任★ 163
GPA-LMGPA-LM是一个关于游戏智能体与大模型交叉领域的论文实时列表，收录了题为《A Survey on Game Playing Agents and Large ★ 161
agent-line-bot这是一个基于 Line 平台的免费 AI 聊天机器人，集成了网页搜索、Google 图片搜索、图像生成和视频生成等能力。它利用大语言模型（如 ChatGPT 和★ 147
Spatial-SSRLSpatial-SSRL 是一个面向视觉语言模型（VLM）的自我监督强化学习框架，旨在提升模型的空间理解能力。它通过引入强化学习机制，让模型在无需人工标注的情况★ 141
TrustEval-toolkitTrustEval-toolkit 是一个用于评估生成式基础模型可信度的开源工具包和基准测试集，相关论文已被 ICLR'26 和 NAACL'25 Demo 接★ 136
VLM-GrounderVLM-Grounder 是一个面向零样本 3D 视觉定位的智能体框架，基于视觉语言模型（VLM）实现。它解决了传统 3D 视觉定位依赖大量标注数据和预训练检测★ 132
MinerU-SkillMinerU-Skill 是一个面向 AI 原生工作流的文档解析工具，能把 PDF、Office 文档和图片统一转换成干净的 Markdown。它重点解决大模型★ 125
LT2MDLT2MD 是一个面向 AI Agent 的 PDF 转 Markdown 技能，专门解决传统转换工具把流程图、示意图和图表变成空链接或丢失内容的问题。它会把这★ 110
vector-inferencevector-inference 是一个面向 Slurm 集群的 LLM 推理服务框架，目标是让团队在已有 HPC 调度系统上高效部署大模型推理，而不必额外搭建★ 110
OralGPTOralGPT 是一个面向口腔医学领域的大语言模型项目，由 NeurIPS'25 和 CVPR'26 论文支持，旨在解决口腔医学中多模态理解和生成的专业需求。它★ 108
Awesome-Multimodal-Reasoning这是一个精选多模态推理与生成前沿资源的列表，聚焦于基于强化学习（RL）的多模态大语言模型（MLLM）技术。项目系统梳理了图像理解、图像推理、图像生成等方向的最新★ 106
awesome-turkish-language-models这是一个精选土耳其语AI资源的开源列表，收录了针对土耳其语的模型、数据集和论文。它解决了土耳其语NLP资源分散、查找困难的问题，为研究者和开发者提供了一站式导航★ 102
Lexicon3DLexicon3D 是一个面向复杂三维场景理解的开源评测框架，发表于 NeurIPS 2024。它系统性地探究了视觉基础模型（如 CLIP、DINOv2 等）在★ 102
context-aware-ragContext-Aware RAG 是一个面向知识图谱的检索增强生成（RAG）库，专注于知识图谱的摄入与检索功能。它解决的是传统 RAG 在复杂关系数据上表现不★ 92
LangCoopLangCoop 是一个面向自动驾驶场景的协作智能体框架，其核心是利用自然语言实现车辆间的协同驾驶。它解决了传统自动驾驶中车辆仅依赖传感器数据、缺乏高层语义交互★ 81
AwesomeMultiModel这是一个AIGC实战入门笔记项目，旨在帮助开发者系统学习和上手各类AIGC技术。项目内容覆盖大语言模型（LLMs）、高效微调（SFT）、检索增强生成（RAG）、★ 79
computer-vision-challenge这是一个面向所有人的计算机视觉实战项目合集，基于Jupyter Notebook编写，涵盖CNN、图像分类、目标检测等经典算法。项目通过一系列可运行的代码示例和★ 70
VideoLucyVideoLucy 是一个面向长视频理解的开源项目，发表于 NeurIPS 2025，核心创新在于“深度记忆回溯”（Deep Memory Backtracki★ 69
Visual-ERMVisual-ERM 是一个用于视觉等价性奖励建模的开源项目，提供了论文《Visual-ERM: Reward Modeling for Visual Equi★ 68
PISCOPISCO是一个基于稀疏控制的精准视频实例插入工具，旨在解决视频编辑中对象插入不自然、控制不精确的问题。它利用大语言模型和视觉语言模型理解视频内容，通过稀疏控制★ 63
DataClaw0DataClaw 是一个面向多模态数据智能处理的开源项目，核心目标是解决原始数据流到高质量训练数据的自动化加工问题。它通过 Agentic 方式，结合视觉语言模★ 62
local-cocoalocal-cocoa 是一个运行在本地设备上的 AI 助手，核心目标是将用户的个人文件转化为可操作、可检索的记忆。它通过本地索引和语义理解，让用户能够用自然语★ 58
VisionFoundryVisionFoundry 是一个专注于提升视觉语言模型（VLM）视觉感知能力的开源训练框架。它通过合成图像数据来训练模型，解决真实图像数据稀缺、标注成本高的问★ 57
Re-AlignRe-Align 是一个针对视觉语言模型（VLM）幻觉问题的对齐框架，发表于 EMNLP 2025。它通过引入图像检索机制，在模型生成文本时检索相关图像作为额外★ 52