axbench

给LLM解释方法打分,选出真正有用的那个

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 46 🐛 待处理 14 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 219
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源库,Apache-2.0 许可证,完全免费,无在线服务,需自行部署。

项目预览

axbench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队stanfordnlp
定价模式🏷️完全免费
价格说明开源库,Apache-2.0 许可证,完全免费,无在线服务,需自行部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型interpretability,intervention,large-language-models,llm-steering,mechanistic-interpretability
GitHub 星标★ 219
上线时间2024-08-07 00:00:00
代码更新2026-03-12
仓库体积631.6 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

axbench 是斯坦福 NLP 团队推出的 Python 库,用于系统化评估大语言模型可解释性方法的实际效用。它解决的核心问题是:当前众多解释性方法(如注意力可视化、梯度归因等)缺乏统一、可量化的评测标准,导致研究者难以判断哪种方法真正有助于理解模型行为。axbench 提供标准化的基准测试框架,涵盖多种解释性任务的评估协议,支持对解释方法在忠实度、稳定性、有用性等维度上的自动打分,并集成常见模型与数据集接口。其核心能力包括:统一的评估 API、可扩展的基准任务集、以及结果可视化与对比工具。通过 axbench,研究者可以快速对比不同可解释性方法的优劣,推动该领域向更严谨、可复现的方向发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 219

核心亮点

  • 来自斯坦福NLP团队,学术背景扎实,方法论严谨
  • 提供标准化评估协议,解决可解释性方法难以横向对比的痛点
  • 支持多种任务和模型接口,易于扩展自定义基准

不足之处

  • 项目处于早期阶段(211星),文档和社区生态尚不完善
  • 评估指标和基准任务覆盖范围有限,可能不适用于所有解释场景

适用场景

  • 学术研究中对比不同可解释性方法的有效性
  • 开发可解释AI系统时筛选合适的解释技术
  • 为模型审计和合规性评估提供量化依据

替代项目

Captum、SHAP、InterpretML

上一篇:PhyX

下一篇:LLM-KG-Bench

同类项目推荐

physics-IQ-benchmark 开源

测测视频模型懂不懂物理,量化物理常识短板

Benchmarking physical understanding in generative video models

★ 388 2026-08-09
Oversight 开源

模块化拆解 LLM,自动红队测试,发现漏洞

A Completely Modular LLM Reverse Engineering, Red Teaming, and Vulnerability Researc···

★ 55 2026-08-09
awesome-ai-security-tools 开源

一页清单,快速定位 AI 安全各细分方向的可用工具

A curated list of public-source, research, and commercial tools for AI security and ···

★ 1722 2026-09-16
MisguidedAttention 开源

用误导性提示词,测出大模型推理的短板

A collection of prompts to challenge the reasoning abilities of large language model···

★ 489 2026-08-09
ClawdSecbot 开源

给 AI Bot 装上实时安全盾牌,防注入、防攻击、可审计。

ClawdSecbot is a professional AI Bot security protection solution, providing securit···

★ 93 2026-08-09
aegis 开源

给大模型装上会自我进化的安全防火墙

Self-hardening firewall for large language models

★ 269 2026-08-09
UHGEval 开源

一键测出大模型胡说八道,量化幻觉风险

[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···

★ 183 2026-08-09
tau2-bench 开源

测测你的AI智能体,会不会在真实客服场景中翻车

τ-Bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains

★ 2416 2026-08-09