inseq 是评测安全领域的开源项目,由 inseq-team 开发,2021 年首次发布。
它收录于评测安全分类,该分类目前共有 466 个项目,GitHub 星标数为 476。
项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-03。Apache-2.0 许可证,完全免费,需自行部署使用。
它主要面向的使用场景是:研究生成模型的内部机制和偏见来源。同类可对比的替代方案包括 Captum、SHAP、InterpretML。

一键透视生成模型,看透每个 token 的决策依据
inseq 是一个用于序列生成模型的可解释性工具库,专注于帮助研究者和开发者理解 LLM 等生成式模型在输出文本时的内部决策过程。它解决了生成模型(如 GPT、T5、BART)黑箱问题,提供特征归因、注意力可视化、对比分析等核心能力。通过统一的 API,用户可轻松获取 token 级别的归因分数,支持多种归因方法(如梯度、积分梯度、LIME 等),并能与 Hugging Face Transformers 无缝集成。其设计强调易用性和可扩展性,适合模型调试、偏见检测和可解释性研究。
Captum、SHAP、InterpretML
inseq 是评测安全领域的开源项目,由 inseq-team 开发,2021 年首次发布。
它收录于评测安全分类,该分类目前共有 466 个项目,GitHub 星标数为 476。
项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-03。Apache-2.0 许可证,完全免费,需自行部署使用。
它主要面向的使用场景是:研究生成模型的内部机制和偏见来源。同类可对比的替代方案包括 Captum、SHAP、InterpretML。
akto
开源
给 AI 应用做安全体检,防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾,自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门,防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击,提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.