UHGEval

一键测出大模型胡说八道，量化幻觉风险

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 12 👀 关注 9
GitHub ↗
GitHub 星标 ★ 183
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，完全免费，可自行部署使用。

项目预览

UHGEval 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队IAAR-Shanghai
GitHubhttps://github.com/IAAR-Shanghai/UHGEval
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,ceval,chatgpt,dataset,evaluation,gpt-3,gpt-4,hallucination,hallucination-detection,hallucination-evaluation,hallucinations,huggingface,huggingface-transformers,large-language-models,llm,openai,openai-api,qwen
GitHub 星标★ 183
上线时间2023-11-06 00:00:00
代码更新2025-06-07
仓库体积66.7 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

UHGEval 是一个面向大语言模型幻觉评估的用户友好型框架，由 ACL 2024 论文提出。它旨在解决 LLM 在实际应用中生成不忠实或虚假内容的问题，通过提供标准化的评估套件和多个基准数据集（如 UHGEval、HaluEval、HalluQA 等），帮助研究者和开发者系统性地量化模型的幻觉程度。核心能力包括：支持多种幻觉类型（如事实性错误、上下文矛盾、逻辑不一致）的检测，提供统一的评估接口和可复现的实验流程，以及覆盖问答、摘要、对话等常见任务的基准测试。框架基于 Python，易于扩展和集成，适合学术研究和工业落地中的模型质量评估。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 183

核心亮点

  • 覆盖多类幻觉（事实错误、上下文矛盾等），评估维度全面
  • 集成多个公开基准（HaluEval、HalluQA），开箱即用
  • 接口统一，支持自定义数据集和模型，扩展性强

不足之处

  • 早期项目，文档和社区支持待观察
  • 基准数据主要面向英文，中文场景适配需自行处理

适用场景

  • 大模型发布前幻觉风险测试
  • RAG 系统检索质量对比评估
  • 学术研究中幻觉量化分析

替代项目

HaluEval、HalluQA、TruthfulQA

上一篇：FollowBench

下一篇：Awesome-Machine-Generated-Text

同类项目推荐

AttackVLM 开源

给视觉语言模型找茬，一键测出安全漏洞

[NeurIPS, 500+ Citations!] Alignment & Safety for multimodal foundation models

★ 233 2026-08-09
SemBench 开源

给语义查询引擎跑分，选型不再靠猜

Benchmarking Semantic Query Processing Engines

★ 69 2026-08-09
damn-vulnerable-ai-agent 开源

故意留洞的 AI Agent 靶场，拿来练提示注入和越权

Damn Vulnerable AI Agent is a deliberately vulnerable AI agent platform for security···

★ 148 2026-09-22
Woodpecker 开源

给多模态模型装上纠错器，让AI描述图片不再瞎编。

✨✨Woodpecker: Hallucination Correction for Multimodal Large Language Models

★ 649 2026-08-09
Video-MME 开源

测一测你的多模态模型，视频理解能力到底行不行

✨✨[CVPR 2025] Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Mult···

★ 802 2026-08-09
evals 开源

给 AI Agent 做统一考试，改一版测一版

A comprehensive evaluation framework for AI agents and LLM applications.

★ 252 2026-09-14
seismometer 开源

在 Notebook 里做医疗 AI 模型的分组评测与可视化

AI model evaluation with a focus on healthcare

★ 272 2026-11-03
deepchecks 开源

给 ML 模型和数据做全面体检，从研究到生产持续验证

Deepchecks: Tests for Continuous Validation of ML Models & Data. Deepchecks is a hol···

★ 4069 2026-08-09