项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-02 · 当前星标 ★ 626
使用教程
环境要求
- Python 3.10+
- RAG 评测数据集
- GPU(训练建议)
安装与启动步骤
-
1装成可编辑包
研究代码,装成本地可编辑模式方便改。
pip install -e . -
2准备训练数据
仓库给了预处理脚本,把原始标注转成它要的格式。
python lettucedetect/preprocess/preprocess_ragtruth.py --input_dir data/ragtruth --output_dir data/ragtruth -
3训练或跳过
要复现就训练,只想用现成能力就装发布版把这步跳过。
pip install lettucedetect -U -
4起演示界面
流式界面能直观看到哪一段被判成没有依据。
streamlit run demo/streamlit_demo.py -
5起正式接口
对外提供服务别用开发模式,那是热重载。
python scripts/start_api.py dev
如何确认成功
给一段检索结果加一个答案,能准确指出答案里哪几句在原文中找不到依据
注意事项
- 它做的是片段级溯源判定,不是判断整段答复合不合格。
- 开发模式会热重载模块,上线要切成生产模式。
- 训练依赖公开评测集,换语言或换领域要自己标一批。
- 阈值调低会大量误报,调高则漏掉编造,按场景权衡。
核心亮点
- span 级检测,能定位到具体无依据片段,而非只给整句打分
- 基于 BERT 的小模型方案,推理成本低,适合批量或线上校验
- 覆盖 RAG、代码、工具调用三类 grounding 场景,通用性较好
不足之处
- 依赖高质量标注数据训练,跨领域迁移效果可能下降
- 对长上下文或复杂推理链的 grounding 判断能力有限
适用场景
- RAG 问答系统上线前批量检测回答是否忠于检索文档
- 代码助手生成代码后校验是否引用了不存在的 API 或库
- 工具调用 Agent 中检查最终回答是否与工具返回结果一致
替代项目
RAGAS、DeepEval
上一篇:mt-rag-benchmark
下一篇:RAGElo
同类项目推荐
PostTrainBench
开源
一张H100,十小时,测出AI代理调教大模型的本事
Measuring how well CLI agents like Claude Code or Codex CLI can post-train base LLMs···
lm_understand-logs
开源
把神经网络权重当文本,让大模型读懂并生成
Complete logs of the experiments in the blog post 'LLMs can understand and write neu···
deepeval
开源
像写单元测试一样评测你的 LLM 应用,快速发现质量回归。
The LLM Evaluation Framework
llm-srbench
开源
测测大模型能不能发现科学公式,一测便知
[ICML2025 Oral] LLM-SRBench: A New Benchmark for Scientific Equation Discovery with ···
ARTEX
开源
让 AI 智能体自主完成渗透测试攻击链
AI 自主渗透测试系统
evalplus
开源
给 LLM 代码生成做严格体检,避免高分低能
Rigourous evaluation of LLM-synthesized code - NeurIPS 2023 & COLM 2024
prompttools
开源
一键对比测试提示词,选对模型和参数不再靠猜
Open-source tools for prompt testing and experimentation, with support for both LLMs···
benchmarks
开源
统一跑分语音AI,延迟准确率一测便知
Reproducible voice-AI benchmarking — TTS / STT / S2S latency and accuracy.
mt-rag-benchmark
开源
多轮对话下测 RAG,暴露单轮评测看不到的短板
Multi-Turn RAG Benchmark
