confabulations 是评测安全领域的开源项目，由 lechmazur 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 250。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-16。无在线服务，需自行部署，完全免费。
它主要面向的使用场景是：评估RAG系统在事实问答中的幻觉率。同类可对比的替代方案包括 RAGAS、TruthfulQA、HaluEval。
confabulations
测出RAG系统胡说八道，用人工验证问答对量化幻觉
confabulations 是一个用于评估 RAG（检索增强生成）系统幻觉（或称虚构）问题的文档型基准测试集。它提供了一系列经过人工验证的问题和答案，专门设计来检测 RAG 系统在生成回答时是否会产生与检索文档不符的虚构内容。该项目解决了 RAG 应用中常见的“一本正经地胡说八道”问题，为开发者提供了一个标准化的测试工具，帮助量化系统在事实准确性上的表现。核心能力包括：包含人工验证的问答对，覆盖多种文档类型，以及提供清晰的评估指标和脚本，方便集成到现有测试流程中。
开源
free
搜索知识
GitHub 星标
★ 250
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类搜索知识
开发团队lechmazur
所属国家
定价模式free
价格说明开源项目，无在线服务，需自行部署，完全免费。
访问状态
是否开源是
开源协议
主要语言HTML
技术栈/模型ai-evaluation,benchmark,claude,confabulations,deepseek-r1,gemini,gemini-pro,hallucinations,language-model,leaderboard,llama,llm,llm-benchmarking,o1,o3-mini,rag
GitHub 星标★ 250
30天Star增速
HF 下载量
上线时间2024-10-10 00:00:00
最近更新2026-09-16 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 人工验证的问答对，确保基准数据质量可靠
- 专注文档型RAG场景，贴近实际应用
- 提供评估脚本，可快速集成到CI/CD流程
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善
- 基准规模可能有限，覆盖领域和语言多样性待观察
适用场景
- 评估RAG系统在事实问答中的幻觉率
- 对比不同RAG模型或检索策略的准确性
- 作为开发RAG应用时的回归测试工具
替代项目
RAGAS、TruthfulQA、HaluEval
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···