Woodpecker

给多模态模型装上纠错器,让AI描述图片不再瞎编。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 28 🐛 待处理 2 👀 关注 13
GitHub ↗
GitHub 星标 ★ 649
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,完全免费,需自行部署使用。

项目预览

Woodpecker 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队VITA-MLLM
定价模式🏷️完全免费
价格说明开源项目,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型hallucination,hallucinations,large-language-models,llm,mllm,multimodal-large-language-models,multimodality
GitHub 星标★ 649
上线时间2023-09-26 00:00:00
代码更新2024-12-23
仓库体积21.7 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

Woodpecker 是一个针对多模态大语言模型(MLLM)的幻觉纠正工具。它通过训练一个轻量级的纠正器,在模型生成文本后,利用视觉知识库和交叉验证机制,自动检测并修正模型输出中与图像不符的内容。项目解决了多模态模型在描述图片时容易产生幻觉(即生成不存在的对象或错误属性)的问题,核心能力包括:基于视觉锚点的幻觉检测、利用外部知识库进行事实核查、以及通过微调小型语言模型实现低成本纠正。它不依赖重新训练庞大的基础模型,而是以即插即用的方式集成到现有MLLM流程中,提升生成内容的准确性和可靠性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 649

使用教程

难度:高级 约 90 分钟 部署方式:本地GPU 5 步

环境要求

  • GPU 24G 显存
  • Python 3.10
  • 预训练纠正器权重

安装与启动步骤

  1. 1建环境

    官方指定 Python 3.10,别用太新的版本。

    conda create -n corrector python=3.10
  2. 2装依赖

    requirements 之外还要单独升级 spacy,它用来做实体级的事实比对。

    pip install -U spacy
  3. 3下语言模型

    把 spacy 的英文模型装上,实体识别不出来纠正就无从谈起。

    python -m spacy download en_core_web_lg
  4. 4单条推理验证

    inference.py 跑一条带幻觉的样本,看它能否定位到具体实体。

    python inference.py
  5. 5起界面批量试

    gradio_demo.py 支持双卡,能一次对比纠正前后的输出。

    CUDA_VISIBLE_DEVICES=0,1 python gradio_demo.py

如何确认成功

对一条含错误实体的描述,输出能把错的那处指出来并给出正确值

注意事项

  • 它纠正的是与图像矛盾的事实错误,不是语法或逻辑错误。
  • spacy 模型体积大,离线环境要提前下好。
  • 双卡启动是官方写法,单卡去掉环境变量里的第二张即可。

核心亮点

  • 即插即用,无需重训大模型,直接修正现有MLLM输出
  • 结合视觉知识库和交叉验证,检测机制可解释性强
  • 轻量级方案,适合资源受限场景,部署成本低

不足之处

  • 依赖外部知识库,对未见过的物体或场景纠正效果有限
  • 文档/社区待观察

适用场景

  • 图像描述生成后自动校对,提升内容准确性
  • 视觉问答系统,防止模型输出与图像矛盾的信息
  • 多模态内容审核,过滤幻觉性错误描述

替代项目

LLaVA、MiniGPT-4、VisualGPT

上一篇:VLGuard

下一篇:AttackVLM

同类项目推荐

vitest-evals 开源

用 Vitest 写 LLM 评测,像跑单测一样跑模型回归

A vitest extension for running evals.

★ 363 2026-09-14
NOIR 开源

用 adb 给手机做隐私体检,看清 App 上报了什么

手机隐私审计:用 adb 扫出 Android 应用的权限、上报端点与数据流向,并给出可回滚的处置···

★ 3046 2026-11-04
eva 开源

给肿瘤AI模型打分,让对比评测不再抓瞎

Evaluation framework for oncology foundation models (FMs)

★ 175 2026-08-09
MMMU 开源

用大学级多模态考题,测出 AI 的真实专家水平

This repo contains evaluation code for the paper "MMMU: A Massive Multi-discipline M···

★ 600 2026-08-09
parea-sdk-py 开源

一站式搞定 LLM 应用的测试、评估与监控

Python SDK for experimenting, testing, evaluating & monitoring LLM-powered applicati···

★ 82 2026-08-09
MGDebugger 开源

像调试传统代码一样调试大模型,快速定位推理错误根因。

Multi-Granularity LLM Debugger [ICSE2026]

★ 102 2026-08-09
seismometer 开源

在 Notebook 里做医疗 AI 模型的分组评测与可视化

AI model evaluation with a focus on healthcare

★ 272 2026-11-03
memorybench 开源

一套基准跑遍对话记忆与 RAG,选型不再靠拍脑袋

Unified benchmark for evaluating conversational memory and RAG across multiple datas···

★ 333 2026-09-21
UHGEval 开源

一键测出大模型胡说八道,量化幻觉风险

[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···

★ 183 2026-08-09