
Woodpecker
给多模态模型装上纠错器,让AI描述图片不再瞎编。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 649
使用教程
环境要求
- GPU 24G 显存
- Python 3.10
- 预训练纠正器权重
安装与启动步骤
-
1建环境
官方指定 Python 3.10,别用太新的版本。
conda create -n corrector python=3.10 -
2装依赖
requirements 之外还要单独升级 spacy,它用来做实体级的事实比对。
pip install -U spacy -
3下语言模型
把 spacy 的英文模型装上,实体识别不出来纠正就无从谈起。
python -m spacy download en_core_web_lg -
4单条推理验证
inference.py 跑一条带幻觉的样本,看它能否定位到具体实体。
python inference.py -
5起界面批量试
gradio_demo.py 支持双卡,能一次对比纠正前后的输出。
CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py
如何确认成功
对一条含错误实体的描述,输出能把错的那处指出来并给出正确值
注意事项
- 它纠正的是与图像矛盾的事实错误,不是语法或逻辑错误。
- spacy 模型体积大,离线环境要提前下好。
- 双卡启动是官方写法,单卡去掉环境变量里的第二张即可。
核心亮点
- 即插即用,无需重训大模型,直接修正现有MLLM输出
- 结合视觉知识库和交叉验证,检测机制可解释性强
- 轻量级方案,适合资源受限场景,部署成本低
不足之处
- 依赖外部知识库,对未见过的物体或场景纠正效果有限
- 文档/社区待观察
适用场景
- 图像描述生成后自动校对,提升内容准确性
- 视觉问答系统,防止模型输出与图像矛盾的信息
- 多模态内容审核,过滤幻觉性错误描述
替代项目
LLaVA、MiniGPT-4、VisualGPT
同类项目推荐
vitest-evals
开源
用 Vitest 写 LLM 评测,像跑单测一样跑模型回归
A vitest extension for running evals.
NOIR
开源
用 adb 给手机做隐私体检,看清 App 上报了什么
手机隐私审计:用 adb 扫出 Android 应用的权限、上报端点与数据流向,并给出可回滚的处置···
eva
开源
给肿瘤AI模型打分,让对比评测不再抓瞎
Evaluation framework for oncology foundation models (FMs)
MMMU
开源
用大学级多模态考题,测出 AI 的真实专家水平
This repo contains evaluation code for the paper "MMMU: A Massive Multi-discipline M···
parea-sdk-py
开源
一站式搞定 LLM 应用的测试、评估与监控
Python SDK for experimenting, testing, evaluating & monitoring LLM-powered applicati···
MGDebugger
开源
像调试传统代码一样调试大模型,快速定位推理错误根因。
Multi-Granularity LLM Debugger [ICSE2026]
seismometer
开源
在 Notebook 里做医疗 AI 模型的分组评测与可视化
AI model evaluation with a focus on healthcare
memorybench
开源
一套基准跑遍对话记忆与 RAG,选型不再靠拍脑袋
Unified benchmark for evaluating conversational memory and RAG across multiple datas···
UHGEval
开源
一键测出大模型胡说八道,量化幻觉风险
[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···