AViD

用自定义数据微调视觉定位模型,省去搭训练管线

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 95 👀 关注 76
GitHub ↗
GitHub 星标 ★ 606
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

AViD 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队levyflux
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 606
上线时间2025-03-19 00:00:00
代码更新2026-08-30
仓库体积26.5 MB
本站数据更新2026-11-05
维护状态维护中
收录时间2026-09-16
浏览次数1

项目介绍

AViD 是一个面向视觉语言定位(visual grounding)模型的微调框架,目标用户是需要在自定义数据集上训练或适配 grounding 模型的研究者与工程师。视觉语言定位任务要求模型根据自然语言描述在图像中定位目标区域,但通用预训练模型往往在特定领域(如医疗影像、工业质检、遥感)表现不佳,而现有微调代码通常与特定模型架构强耦合、数据处理流程不统一。AViD 提供了统一的数据组织与训练流程,支持在用户自有标注数据上对 grounding 模型进行微调,涵盖数据加载、模型适配、训练循环与评估等环节,降低从零搭建训练管线的成本。项目以 Python 实现,处于早期阶段,适合作为二次开发的起点,而非开箱即用的成熟产品。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 606

使用教程

难度:高级 约 90 分钟 部署方式:本地GPU 5 步

环境要求

  • GPU 显存 16G 以上
  • 开放词汇检测基础
  • 标注数据

安装与启动步骤

  1. 1克隆建环境

    研究代码,先建虚拟环境。

    git clone https://github.com/levyflux/AViD.git
  2. 2装成本地包

    要关掉构建隔离,否则编译直接失败。

    python -m pip install --no-build-isolation -e .
  3. 3跑演示

    先用一张图跑推理,确认能框出开放词汇目标。

    python demo/inference_on_a_image.py
  4. 4起界面

    要手调阈值就起图形界面。

    python demo/gradio_app.py
  5. 5在自己的数据上训

    按配置文件跑训练脚本。

    python train.py --config configs/train_config.yaml

如何确认成功

给一个训练时没见过的类别名,能在图上正确框出对应目标且置信度合理

注意事项

  • 它把开放词汇检测能力接到更强的定位模型上,类别靠文本描述。
  • 装包时必须关构建隔离,这是最常见的卡点。
  • 新类别的效果依赖描述措辞,换个说法可能就框不准。
  • 训练数据规模要求不低,小样本容易过拟合。

核心亮点

  • 提供面向 visual grounding 的完整微调流程,而非通用训练模板
  • 支持接入自定义数据集,便于领域适配
  • Python 实现,代码结构便于二次开发与模型替换

不足之处

  • 早期项目,文档与示例可能不完整
  • 社区规模小,遇到问题可参考的讨论有限

适用场景

  • 在医疗影像上微调模型,按报告描述定位病灶区域
  • 工业质检中根据文字指令定位缺陷位置
  • 遥感图像里按自然语言描述检索并框选目标地物

替代项目

OpenGroundingDino、MMGroundingDINO

上一篇:physicsnemo

下一篇:BloomBee

同类项目推荐

llm-engine 开源

自建大模型推理与微调平台,OpenAI 接口一键迁移

Scale LLM Engine public repository

★ 840 2026-09-16
Fast-LLM 开源

让 LLM 训练跑满 GPU,少等快出结果

Accelerating your LLM training to full speed! Made with ❤️ by ServiceNow Research

★ 339 2026-09-26
ts-icl 开源

零样本搞定时间序列预测与插补,无需重新训练。

TS-ICL: a Time-Indexed Foundation Model for Time Series Forecasting & Imputation via···

★ 128 2026-08-09
MoTHer 开源

从模型集合中自动还原模型家族树,看清模型间继承关系。

Official PyTorch Implementation for the "Unsupervised Model Tree Heritage Recovery" ···

★ 62 2026-08-09
Large-Time-Series-Model 开源

用预训练大模型搞定时间序列预测,零样本也能用

Official code, datasets and checkpoints for "Timer: Generative Pre-trained Transform···

★ 1024 2026-08-09
MindPipe 开源

一键压缩大模型,让 LLM 在 NVIDIA 和昇腾上跑得更快更省显存。

A powerful model compression framework for LLMs and LVLMs, adapted for NVIDIA GPUs a···

★ 7 2026-08-09
Medusa 开源

给大模型加几个解码头,生成速度翻倍,不用改架构

Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Head···

★ 2773 2026-08-09
torchebm 开源

不跑采样链,GPU 上直接训 EBM 和流匹配

Simulation-free, GPU-first generative modeling in PyTorch ⚡ Composable primitives f···

★ 117 2026-10-08
zenbytes 开源

跟着 Notebook 一步步上手 ZenML,搞定 MLOps 流水线

A simple guide to MLOps through ZenML and its various integrations.

★ 189 2026-08-09