vlm 第 1 页
本站收录 106 个带「vlm」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 3 页)
transformersHugging Face 出品的模型定义框架,支持文本、视觉、音频与多模态模型,覆盖推理与训练全流程,是当前研究和生产中最主流的开源模型生态基石。★ 168,996
UI-TARS-desktopUI-TARS-desktop 是字节跳动开源的多模态 AI Agent 桌面栈,目标是把前沿视觉语言模型与 Agent 基础设施打通,让 AI 能像人一样操作★ 39,598
sglangSGLang 是一个高性能的大语言模型和多模态模型服务框架,旨在解决 LLM 推理服务中吞吐量低、延迟高、显存利用率不足等问题。它通过 RadixAttenti★ 38,892
runanywhere-sdksrunanywhere-sdks 是一个面向生产环境的 C++ 工具包,旨在让 AI 模型在本地设备上高效运行。它解决了云端推理带来的延迟、隐私和成本问题,提供★ 10,346
notebooks这是一个计算机视觉领域的教程合集,基于 Jupyter Notebook 编写,旨在帮助开发者从基础到前沿系统学习视觉模型与技术。项目覆盖了从 ResNet 等★ 9,749
anomaly-detection-resources这是一个异常检测领域的精选资源清单,汇集了书籍、论文、视频和工具箱,覆盖从经典统计方法到深度学习、大语言模型(LLM)和视觉语言模型(VLM)的最新进展。项目持★ 9,450
oumioumi 是一个专注于开源大语言模型(LLM)微调、评估和部署的全流程工具包。它旨在简化从模型选择到生产部署的复杂流程,支持 Qwen、Gemma、Llama ★ 9,433
rea-videorea-video 是一个用 Python 编写的视频逆向分析工具,面向短视频创作者与 AI 内容研究者。它把任意视频按镜头切分,逐镜判断画面来源——实拍、AI★ 8,741
GenieXGenieX 是一个专为高通设备设计的开源推理引擎,旨在让开发者通过几行代码即可在本地运行前沿的大语言模型(LLM)和视觉语言模型(VLM)。它充分利用高通芯片★ 8,527
ERNIEERNIE是百度开源的预训练语言模型系列,本仓库为ERNIE 4.5及ERNIEKit工业级开发工具包的官方实现,基于PaddlePaddle深度学习框架。ER★ 7,740
VLM-R1VLM-R1 是一个将强化学习(RL)应用于视觉语言模型(VLM)的开源项目,旨在提升模型在视觉理解任务中的推理能力。它基于 DeepSeek-R1 的 RL ★ 6,046
UltraRAGUltraRAG 是一个基于 Python 的低代码 MCP(Model Context Protocol)框架,用于构建复杂且创新的 RAG(检索增强生成)流★ 5,743
LLM-RL-VisualizedLLM-RL-Visualized 是一个专注于大语言模型(LLM)和强化学习(RL)算法可视化的开源项目,由《大模型算法》作者倾力打造。项目提供了100多张原★ 5,020
star-vectorStarVector 是一个用于 SVG 生成的基础模型,它将矢量图转换任务重构为代码生成任务。基于视觉-语言建模架构,StarVector 能同时处理图像和文★ 4,639
lmms-evallmms-eval 是一个面向多模态大模型的一站式评测工具包,支持文本、图像、视频和音频任务的统一评估。它解决了多模态模型评测标准不一、任务分散、复现困难的问题★ 4,497
OXROXR 是一个开源的文档解析模型,面向扫描件、PDF 转图、表格与复杂版式文档的识别场景。它把 OCR 与视觉语言模型(VLM)结合,输出结构化文本与版面信息,★ 3,835
PromptEnhancerPromptEnhancer 是一个提示词重写工具,旨在将用户输入的图像生成提示词优化为更清晰、结构化的版本,从而提升生成图像的质量。它基于视觉语言模型(VLM★ 3,805
evalscopeevalscope 是一个面向大语言模型(LLM)、视觉语言模型(VLM)和生成式 AI(AIGC)的评估与性能基准测试框架。它旨在解决模型评测流程繁琐、标准不★ 3,695
MiniMax-01MiniMax-01 是 MiniMax 官方发布的模型仓库,包含 MiniMax-Text-01 和 MiniMax-VL-01 两个模型,分别对应大型语言模★ 3,474
Local-File-OrganizerLocal-File-Organizer 是一款基于 AI 的本地文件管理工具,旨在通过智能整理本地文本和图片文件来提升文件检索效率。它利用 Llama3.2 ★ 3,374
OSWorldOSWorld 是一个用于评估多模态 AI 智能体在真实计算机环境中执行开放式任务能力的基准测试平台,发表于 NeurIPS 2024。它解决了现有基准测试环境★ 3,260
Skywork-R1VSkywork-R1V 是由昆仑万维 Skywork AI 开发的多模态推理模型系列,专注于视觉-语言联合推理任务。它解决了传统多模态模型在复杂视觉问答中推理能★ 3,173
DeepCameraDeepCamera 是一个开源的 AI 摄像头技能平台,定位为智能 NVR 和闭路监控系统。它解决传统监控只能录像、无法理解视频内容的问题,通过本地 VLM(★ 3,142
tokenspeedTokenSpeed 是一个主打极致推理速度的 LLM 推理引擎,目标是让大模型在现有硬件上跑出“光速”级别的 token 生成速度。它通过优化内存访问、算子融★ 2,928
OmAgentOmAgent 是一个用于快速构建多模态语言智能体的开源框架,旨在帮助开发者从原型到生产环境无缝部署。它解决了传统语言模型在处理图像、视频等非文本数据时的局限,★ 2,670
CradleCradle 是一个旨在实现通用计算机控制(GCC)的智能体框架,是这一领域的首次尝试。它让智能体能够像人类一样操作任何计算机软件,通过标准化通用环境,以最小化★ 2,602
paperbananapaperbanana 是 Google Research 论文中 PaperBanana 的开源实现与扩展,旨在自动化生成学术图表、示意图和研究可视化,并拓展★ 2,480
GLM-VGLM-V 是智谱开源的多模态视觉语言模型系列,涵盖 GLM-4.6V、4.5V 与 4.1V-Thinking 等版本,主打可扩展强化学习驱动的通用多模态推理★ 2,406
Gpt-Agreement-PaymentGpt-Agreement-Payment 是一套针对 ChatGPT Plus/Team/Pro 订阅协议进行端到端重放的工具集,核心解决自动化订阅流程中遇到★ 2,310
Awesome-LM-SSPAwesome-LM-SSP 是一个聚焦大模型安全、隐私与可信度的精选阅读清单,收录了相关论文、工具、数据集和攻击防御方法。它系统梳理了提示注入、越狱攻击、隐私★ 2,106
cosmo-edgecosmo-edge 是一个面向生产环境的 C++ 边缘 AI 推理引擎,专注视频分析与端侧视觉语言模型(VLM)部署。它解决的核心问题是:边缘设备芯片平台碎片★ 2,096
video-search-and-summarization这是NVIDIA推出的视频搜索与摘要参考架构(VSS Blueprint),旨在帮助开发者快速构建GPU加速的视频分析智能体。它解决了传统视频分析中检索效率低、★ 1,986
Awesome-Jailbreak-on-LLMs这是一个聚焦大语言模型越狱攻击方法的精选资源库,系统整理了学术界和工业界关于LLM安全漏洞的最新研究。项目收集了论文、代码、数据集、评估工具和分析报告,覆盖从提★ 1,984
Qwen-VL-Series-Finetune这是阿里云 Qwen-VL 系列多模态大模型的开源微调实现,面向需要让视觉语言模型适配自有数据的开发者。项目支持 Qwen2-VL、Qwen2.5-VL、Qwe★ 1,983
OpenGUIOpenGUI 是一个面向 Android 的 GUI 智能体框架,旨在让 AI 像人一样“看、想、操作”手机应用。它通过无障碍服务(Accessibility★ 1,811
awesome-yolo-object-detectionawesome-yolo-object-detection 是一个精选 YOLO 目标检测系列开源项目和数据集的资源合集。它系统整理了 YOLO 从 v1 到 ★ 1,804
react-native-executorchreact-native-executorch 是一个将 Meta 的 ExecuTorch 推理引擎封装为 React Native 原生模块的开源库,让开发★ 1,791
AngelSlimAngelSlim 是一个面向大语言模型的开源压缩工具包,旨在让模型压缩更易用、更全面、更高效。它解决了模型部署中体积大、推理慢、成本高的问题,提供从剪枝、量化★ 1,789
awesome-vlm-architectures这是一个精心整理的视觉语言模型(VLM/MLLM)架构目录,收录了155+个相关模型,涵盖论文、架构图、训练配方、数据集以及发布时间线。项目以可视化的方式呈现多★ 1,368
awesome-ai-persona-skills这是一个汇集了100多个人格化AI技能的合集项目,旨在为多智能体系统提供丰富的角色扮演能力。它解决了AI对话中角色单一、缺乏个性的问题,通过'蒸馏'技术将名人的★ 1,112
AutomodelAutomodel 是一个基于 PyTorch 分布式原生的 LLM/VLM 训练库,目标是让大模型微调像调用 Hugging Face 一样简单。它直接兼容 ★ 1,083
NEONEO 是一个从第一性原理出发构建的原生视觉-语言模型系列,旨在解决当前多模态模型依赖外部视觉编码器、架构复杂且训练不透明的问题。项目强调端到端的原生多模态理解★ 926
mindnlpmindnlp 是一个开源项目,旨在将 Hugging Face 生态的 Transformers 和 Diffusers 模型无缝迁移到华为 MindSpor★ 921
MindActMindAct 是一个让 Hugging Face 的 Transformers 与 Diffusers 模型无缝运行在华为昇腾 MindSpore 框架上的适★ 921
ValenValen 是一个面向文本、图像和视频的开源轻量级多模态决策模型项目,目标是把「感知输入 + 结构化决策输出」做成可自行训练、自行部署的小型模型。它解决的是传统★ 915
gpt-assistant-androidgpt-assistant-android 是一款安卓端的全场景 GPT 语音助手,通过无障碍服务监听音量键,实现一键唤起语音对话,无需手动打开应用。它解决了移★ 909
UniPicUniPic 是一个开源的 SOTA 多图像编辑模型,专注于通过自然语言指令对多张输入图像进行联合编辑。它解决了传统图像编辑模型只能处理单张图像、难以理解多图之★ 877
mobilegymMobileGym 是一个面向移动端 GUI 智能体研究的可验证、高并行仿真平台,论文已被 EMNLP 2026 收录。它把安卓模拟器搬进浏览器,无需真机或本地★ 866
LoongForgeLoongForge 是一个面向大模型训练的统一高性能框架,支持在 NVIDIA GPU 和昆仑芯 XPU 上训练 LLM、VLM、扩散模型及具身智能模型。它解★ 847