项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3326
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- 可访问 GitHub 与 Hugging Face 的网络环境
- 本地安装 Git(仅克隆仓库时需要)
- 现代浏览器(查看在线交互排行榜)
安装与启动步骤
-
1克隆项目仓库
把排行榜仓库拉到本地,README.md 中包含最新榜单表格与历史版本分支说明。
git clone https://github.com/vectara/hallucination-leaderboard.git -
2查看排行榜数据
打开 README.md,表格列出各模型的幻觉率、事实一致性率、回答率与平均摘要长度。
-
3查看在线交互榜单
README 提供 Hugging Face 上的交互式排行榜页面,可直接网页浏览对比模型。
-
4切换历史版本
早期基于 HHEM-1.0 的结果保存在独立分支,需要对比旧数据时切过去查看。
git checkout hhem-1.0-final
如何确认成功
本地 README.md 能看到模型榜单表格,且浏览器能正常打开 Hugging Face 上的交互式排行榜页面。
常见问题
Q:需要安装 Python 依赖才能使用吗?
A:README 未提供任何安装或运行命令,该仓库主要用于展示评测结果,直接查阅 README 表格或在线榜单即可。
Q:如何查看旧版本的排行榜?
A:README 给出两个历史分支:hhem-1.0-final 和 hhem-2.3-old-dataset,克隆仓库后切换分支查看对应版本数据。
Q:排行榜多久更新一次?
A:README 说明会随模型和评测模型更新而定期更新,表格上方标注有最近更新日期(Last updated)。
Q:能否提交自己模型的评测结果?
A:README 未说明提交方式,如有需求可通过 GitHub 仓库反馈,请以仓库中实际提供的信息为准。
注意事项
- README 中未给出本地运行或评测的命令,本文步骤仅为查阅榜单所需的最小准备动作。
- 不同分支对应不同 HHEM 版本和数据集,跨版本比较模型分数时注意口径一致。
- 榜单数值会随更新变化,引用时请注明查看日期与所用版本。
核心亮点
- 提供标准化短文档摘要幻觉评测集,结果可复现
- 榜单实时更新,覆盖主流开源与闭源模型
- 量化忠实度指标,便于横向对比和趋势观察
不足之处
- 评测场景仅限短文档摘要,覆盖任务类型有限
- 文档/社区待观察
适用场景
- 选择摘要模型时对比其忠实度
- 研究幻觉问题并验证改进方法
- 跟踪模型更新对幻觉表现的影响
替代项目
HaluEval、TruthfulQA、FActScore
上一篇:AI-Infra-Guard
下一篇:OSWorld
同类项目推荐
ares
开源
让红蓝 AI 智能体在真实环境里对打,评测攻防实力
Ares is an autonomous security operations platform where LLM-driven red and blue tea···
uptrain
开源
给 LLM 应用打分找茬,快速定位并修复质量问题。
UpTrain is an open-source unified platform to evaluate and improve Generative AI app···
KnowledgeEditingPapers
开源
一榜在手,快速掌握大模型知识编辑前沿论文
Must-read Papers on Knowledge Editing for Large Language Models.
awesome-ai-testing
开源
一页清单看懂 AI 测试工具,选型不再东拼西凑
A curated list of AI-powered testing tools, frameworks, and resources for QA enginee···
ScienceAgentBench
开源
用102个真实科研任务,严格检验AI科学智能体成色
[ICLR'25] ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-···
llamator
开源
给聊天机器人找茬,提前揪出安全漏洞
Red Teaming python-framework for testing chatbots and GenAI systems.
Awesome-AI-For-Security
开源
一页看全 AI 做安全:工具、论文、数据集
A curated list of tools, papers, and datasets for applying AI to cybersecurity tasks···
aegis
开源
给大模型装上会自我进化的安全防火墙
Self-hardening firewall for large language models
Jailbreaks-GPT-Gemini-deepseek-
开源
多模型越狱提示样本库,用于安全评测对比
Jailbreaks GPT, Sora, Claude, Gemini ,deepseek this prompt unlocks rage mode
