LettuceDetect

定位 RAG 回答里哪句话没依据,span 级揪出幻觉

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 65 🐛 待处理 51 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 626
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,基于MIT许可证

项目预览

LettuceDetect 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队KRLabsOrg
定价模式🏷️完全免费
价格说明开源免费,基于MIT许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型bert,hallucination-detection,hallucination-evaluation,information-extraction,nlp,python,pytorch,token-classification
GitHub 星标★ 626
上线时间2025-02-05 00:00:00
代码更新2026-11-14
仓库体积9.3 MB
本站数据更新2026-11-15
维护状态活跃
收录时间2026-10-02
浏览次数2

项目介绍

LettuceDetect 是一个面向 RAG、代码生成和工具调用场景的幻觉检测工具,核心做的是 span 级别的 grounding 验证。它不满足于只判断整段回答是否有幻觉,而是定位到具体哪些词或片段没有依据,从而让开发者知道问题出在哪里。项目基于 BERT 类模型和 PyTorch,采用 token 分类思路训练检测器,输入通常包含上下文(如检索文档、工具返回结果)和模型输出,输出是每个 token 是否被支撑的标签,再聚合成可疑片段。相比让大模型自己评判,这种小模型方案推理成本低、速度快,适合在流水线中做批量校验。它解决的是 RAG 系统里答案看似合理但实际脱离检索内容的问题,也适用于代码助手和工具调用场景中检查生成内容是否忠于给定依据。项目提供 Python 接口和预训练模型,可本地部署,方便集成到评测或线上监控环节。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 626

使用教程

难度:进阶 约 45 分钟 部署方式:本地安装 5 步

环境要求

  • Python 3.10+
  • RAG 评测数据集
  • GPU(训练建议)

安装与启动步骤

  1. 1装成可编辑包

    研究代码,装成本地可编辑模式方便改。

    pip install -e .
  2. 2准备训练数据

    仓库给了预处理脚本,把原始标注转成它要的格式。

    python lettucedetect/preprocess/preprocess_ragtruth.py --input_dir data/ragtruth --output_dir data/ragtruth
  3. 3训练或跳过

    要复现就训练,只想用现成能力就装发布版把这步跳过。

    pip install lettucedetect -U
  4. 4起演示界面

    流式界面能直观看到哪一段被判成没有依据。

    streamlit run demo/streamlit_demo.py
  5. 5起正式接口

    对外提供服务别用开发模式,那是热重载。

    python scripts/start_api.py dev

如何确认成功

给一段检索结果加一个答案,能准确指出答案里哪几句在原文中找不到依据

注意事项

  • 它做的是片段级溯源判定,不是判断整段答复合不合格。
  • 开发模式会热重载模块,上线要切成生产模式。
  • 训练依赖公开评测集,换语言或换领域要自己标一批。
  • 阈值调低会大量误报,调高则漏掉编造,按场景权衡。

核心亮点

  • span 级检测,能定位到具体无依据片段,而非只给整句打分
  • 基于 BERT 的小模型方案,推理成本低,适合批量或线上校验
  • 覆盖 RAG、代码、工具调用三类 grounding 场景,通用性较好

不足之处

  • 依赖高质量标注数据训练,跨领域迁移效果可能下降
  • 对长上下文或复杂推理链的 grounding 判断能力有限

适用场景

  • RAG 问答系统上线前批量检测回答是否忠于检索文档
  • 代码助手生成代码后校验是否引用了不存在的 API 或库
  • 工具调用 Agent 中检查最终回答是否与工具返回结果一致

替代项目

RAGAS、DeepEval

上一篇:mt-rag-benchmark

下一篇:RAGElo

同类项目推荐

PostTrainBench 开源

一张H100,十小时,测出AI代理调教大模型的本事

Measuring how well CLI agents like Claude Code or Codex CLI can post-train base LLMs···

★ 623 2026-08-10
lm_understand-logs 开源

把神经网络权重当文本,让大模型读懂并生成

Complete logs of the experiments in the blog post 'LLMs can understand and write neu···

★ 1244 2026-11-07
deepeval 开源

像写单元测试一样评测你的 LLM 应用,快速发现质量回归。

The LLM Evaluation Framework

★ 19485 2026-08-10
llm-srbench 开源

测测大模型能不能发现科学公式,一测便知

[ICML2025 Oral] LLM-SRBench: A New Benchmark for Scientific Equation Discovery with ···

★ 132 2026-08-09
ARTEX 开源

让 AI 智能体自主完成渗透测试攻击链

AI 自主渗透测试系统

★ 4409 2026-10-09
evalplus 开源

给 LLM 代码生成做严格体检,避免高分低能

Rigourous evaluation of LLM-synthesized code - NeurIPS 2023 & COLM 2024

★ 1838 2026-08-09
prompttools 开源

一键对比测试提示词,选对模型和参数不再靠猜

Open-source tools for prompt testing and experimentation, with support for both LLMs···

★ 3060 2026-08-09
benchmarks 开源

统一跑分语音AI,延迟准确率一测便知

Reproducible voice-AI benchmarking — TTS / STT / S2S latency and accuracy.

★ 105 2026-10-06
mt-rag-benchmark 开源

多轮对话下测 RAG,暴露单轮评测看不到的短板

Multi-Turn RAG Benchmark

★ 159 2026-10-02