SelfAware

测出模型不知道自己不知道什么,减少胡编乱造

SelfAware 是一个研究型开源项目,核心探索大语言模型(LLM)的自我认知能力,即模型是否知道自己的知识边界。项目通过设计特定测试集和评估方法,量化模型在回答不确定问题时的表现,帮助开发者识别模型过度自信或错误回答的情况。它提供了一套可复现的评估流程,包含数据生成、模型测试和结果分析模块,旨在推动模型可靠性和安全性的研究。对于关注模型幻觉问题的团队,该项目提供了从认知层面诊断模型短板的基础工具。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 105
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队yinzhangyue
所属国家
官网地址
定价模式free
价格说明开源项目,Apache-2.0许可证,可自由使用,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型large-language-models,natural-language-processing
GitHub 星标★ 105
30天Star增速
HF 下载量
上线时间2022-12-01 00:00:00
最近更新2026-08-27 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

核心亮点

  • 聚焦模型自我认知这一前沿问题,研究视角独特
  • 提供可复现的评估流程,便于对比不同模型表现
  • 对构建更可靠的AI应用有直接参考价值

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 评估方法可能受限于特定测试集,泛化性待验证

适用场景

  • 大模型能力基准测试与对比
  • AI安全与幻觉问题研究
  • 模型上线前的可靠性评估

替代项目

TruthfulQA、HaluEval、SelfCheckGPT

项目介绍

SelfAware 是评测安全领域的开源项目,由 yinzhangyue 开发,2022 年首次发布。

它收录于评测安全分类,该分类目前共有 458 个项目,GitHub 星标数为 105。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-08-27。Apache-2.0许可证,可自由使用,无付费版本。

它主要面向的使用场景是:大模型能力基准测试与对比。同类可对比的替代方案包括 TruthfulQA、HaluEval、SelfCheckGPT。

上一篇:Oversight

下一篇:DS-1000

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12