uqlm

量化 LLM 不确定性，精准识别幻觉，提升 AI 输出可信度。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 140 🐛 待处理 25 👀 关注 10

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 1217

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源Python包，Apache-2.0许可证，完全免费，需自行部署使用。

项目预览

项目数据

分类评测安全

开发团队cvs-health

官网地址https://cvs-health.github.io/uqlm/latest/index.html

GitHubhttps://github.com/cvs-health/uqlm

定价模式🏷️完全免费

价格说明开源Python包，Apache-2.0许可证，完全免费，需自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型ai-evaluation,ai-safety,confidence-estimation,confidence-score,hallucination,hallucination-detection,hallucination-evaluation,hallucination-mitigation,llm,llm-evaluation,llm-hallucination,llm-safety,uncertainty-estimation,uncertainty-quantification

GitHub 星标★ 1217

上线时间2025-04-17 00:00:00

代码更新2026-11-08

仓库体积40.4 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-10

浏览次数9

项目介绍

UQLM 是一个专注于大语言模型（LLM）不确定性量化的 Python 包，源自 JMLR 2026 论文。它解决的核心问题是：LLM 在生成文本时经常产生幻觉（hallucination），而模型自身给出的置信度往往不可靠。UQLM 提供了一套系统化的工具，用于估计模型输出的置信度分数、检测幻觉内容，并评估不同不确定性量化方法的效果。其核心能力包括：集成多种置信度估计方法（如基于 logits、采样一致性、自评估等）、统一的评估框架、以及便于与现有 LLM 工作流集成的 API。该包旨在帮助开发者更好地理解模型何时可能出错，从而提升 AI 系统的安全性和可靠性，尤其适用于对输出准确性要求高的应用场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 1217

技术标签

ai-evaluation ai-safety hallucination hallucination-detection llm

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 5 分钟部署方式：库/依赖 4 步

环境要求

已安装 Python 及 pip（README 未限定具体版本，建议使用较新的 Python 3.x）
能正常访问 PyPI 以拉取 uqlm 包
建议在独立虚拟环境中安装，避免与已有依赖冲突
如需调用商业 LLM 作为后端，需自备对应服务的 API 密钥（README 节选未给出变量名，请查阅官方文档）

安装与启动步骤

1检查 Python 环境

确认本机已安装 Python 与 pip，可正常执行 pip 命令。README 未限定最低版本，建议用较新版本。
```
python --version
pip --version
```
2安装 uqlm

README 给出的唯一安装方式：从 PyPI 安装最新版。建议在虚拟环境或容器中执行，避免污染全局环境。
```
pip install uqlm
```
3验证安装

导入 uqlm 包，若无报错说明安装成功。可顺带打印版本号，确认拉取到的是预期版本。
```
python -c "import uqlm; print(getattr(uqlm, '__version__', 'ok'))"
```
4查看官方文档

README 节选未包含使用示例与打分器配置，请打开官方文档了解幻觉检测的调用方式与评估流程。