SelfAware

测出模型不知道自己不知道什么,减少胡编乱造

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 6 👀 关注 3
GitHub ↗
GitHub 星标 ★ 107
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可自由使用,无付费版本。

项目预览

SelfAware 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队yinzhangyue
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可自由使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型large-language-models,natural-language-processing
GitHub 星标★ 107
上线时间2022-12-01 00:00:00
代码更新2024-11-08
仓库体积505 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

SelfAware 是一个研究型开源项目,核心探索大语言模型(LLM)的自我认知能力,即模型是否知道自己的知识边界。项目通过设计特定测试集和评估方法,量化模型在回答不确定问题时的表现,帮助开发者识别模型过度自信或错误回答的情况。它提供了一套可复现的评估流程,包含数据生成、模型测试和结果分析模块,旨在推动模型可靠性和安全性的研究。对于关注模型幻觉问题的团队,该项目提供了从认知层面诊断模型短板的基础工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 107

核心亮点

  • 聚焦模型自我认知这一前沿问题,研究视角独特
  • 提供可复现的评估流程,便于对比不同模型表现
  • 对构建更可靠的AI应用有直接参考价值

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 评估方法可能受限于特定测试集,泛化性待验证

适用场景

  • 大模型能力基准测试与对比
  • AI安全与幻觉问题研究
  • 模型上线前的可靠性评估

替代项目

TruthfulQA、HaluEval、SelfCheckGPT

上一篇:Oversight

下一篇:DS-1000

同类项目推荐

Awesome-LVLM-Safety 开源

一页看懂视觉语言模型安全攻防与评测资源

A curated list of resources dedicated to the safety of Large Vision-Language Models.···

★ 223 2026-10-14
Frontier-CS 开源

用开放式 CS 难题测出大模型的真实上限

A benchmark for evaluating LLMs on open-ended CS problems. Exploring the Next Fronti···

★ 347 2026-10-23
AgentCapture 开源

给 AI 攻击代理布下诱饵,抓行为还能反制

Deception-layer honeypot that captures & reverse-controls AI pentest agents — embed···

★ 172 2026-11-05
Awesome-MLLM-Uncertainty 开源

一页看尽多模态模型不确定性研究,快速定位关键论文

✨A curated list of papers on the uncertainty in multi-modal large language model (M···

★ 59 2026-08-09
dep-scan 开源

扫依赖和镜像,查漏洞与许可证风险,出 SBOM

OWASP dep-scan is a next-generation security and risk audit tool based on known vuln···

★ 1329 2026-10-23
open-bias 开源

给 AI Agent 加一道策略防火墙,违规请求当场拦截

Open Source policy enforcement proxy: Make your agents follow rules.

★ 139 2026-10-09
autoguardrails 开源

用 policy.md 自动搜索最优 LLM 护栏策略

Alignment-research scaffold (autoresearch-style) for LLM guardrails: search over a s···

★ 129 2026-08-10
AttackVLM 开源

给视觉语言模型找茬,一键测出安全漏洞

[NeurIPS, 500+ Citations!] Alignment & Safety for multimodal foundation models

★ 233 2026-08-09
HacxGPT-Jailbreak-prompts 开源

一键解锁 AI 模型隐藏能力,突破限制自由对话

HacxGPT Jailbreak : Unlock the full potential of top AI models like ChatGPT, LLaMA, ···

★ 227 2026-08-09