confabulations
测出RAG系统胡说八道，用人工验证问答对量化幻觉
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 251
核心亮点
- 人工验证的问答对，确保基准数据质量可靠
- 专注文档型RAG场景，贴近实际应用
- 提供评估脚本，可快速集成到CI/CD流程
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善
- 基准规模可能有限，覆盖领域和语言多样性待观察
适用场景
- 评估RAG系统在事实问答中的幻觉率
- 对比不同RAG模型或检索策略的准确性
- 作为开发RAG应用时的回归测试工具
替代项目
RAGAS、TruthfulQA、HaluEval
同类项目推荐
ASTRA
开源
实战对抗攻击，一键测出 AI 模型的安全漏洞
Amazon Nova AI Challenge Winner - ASTRA emerged victorious as the top attacking team···
awesome-agent-skills-security
开源
一份清单看懂 Agent 工具调用的攻击与防御
️ A curated list of resources on agent skills security: attacks, defenses, framewor···
optimum-benchmark
开源
一键横评多后端推理性能，选型不靠猜
️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffus···
llmspeed
开源
买显卡前先跑分，本地大模型速度一目了然
Feel how fast a local LLM runs before you buy the hardware
coir
开源
给代码检索模型做全面体检，一张卷子测出真实力。
(ACL 2025 Main) A Comprehensive Benchmark for Code Information Retrieval.
guardrail
开源
用 GPT 快速做情感分析和内容审核
GuardRail: Advanced tool for data analysis and AI content generation using OpenAI GP···
evals-skills
开源
让编码代理手把手帮你搭产品专属 AI 评测
Skills that guide AI coding agents to help you build product-specific AI evals.
Diffusion-MU-Attack
开源
快速攻破遗忘扩散模型，测出安全漏洞
The official implementation of ECCV'24 paper "To Generate or Not? Safety-Driven Unle···
ActPlane
开源
用 eBPF 管住 AI Agent 的数据流，防泄露防乱来
eBPF Information Flow Enforcement for AI Agent safety, security and effectiveness