inseq

一键透视生成模型,看透每个 token 的决策依据

inseq 是一个用于序列生成模型的可解释性工具库,专注于帮助研究者和开发者理解 LLM 等生成式模型在输出文本时的内部决策过程。它解决了生成模型(如 GPT、T5、BART)黑箱问题,提供特征归因、注意力可视化、对比分析等核心能力。通过统一的 API,用户可轻松获取 token 级别的归因分数,支持多种归因方法(如梯度、积分梯度、LIME 等),并能与 Hugging Face Transformers 无缝集成。其设计强调易用性和可扩展性,适合模型调试、偏见检测和可解释性研究。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 476
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队inseq-team
所属国家
官网地址https://inseq.org
定价模式free
价格说明开源项目,Apache-2.0 许可证,完全免费,需自行部署使用。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型attribution-methods,captum,deep-learning,explainable-ai,generative-ai,huggingface,interpretability,language-generation,language-model,large-language-models,natural-language-processing,sequence-to-sequence,transformers
GitHub 星标★ 476
30天Star增速
HF 下载量
上线时间2021-09-14 00:00:00
最近更新2026-09-03 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 与 Hugging Face 深度集成,几行代码即可对主流生成模型进行归因分析
  • 支持多种归因方法,并统一输出格式,便于对比和复现
  • 提供交互式可视化工具,直观展示 token 级归因结果

不足之处

  • 文档/社区待观察
  • 主要面向研究场景,对生产环境部署支持有限

适用场景

  • 研究生成模型的内部机制和偏见来源
  • 调试和优化生成式 NLP 模型(如问答、摘要)
  • 教学演示中展示模型决策过程

替代项目

Captum、SHAP、InterpretML

项目介绍

inseq 是评测安全领域的开源项目,由 inseq-team 开发,2021 年首次发布。

它收录于评测安全分类,该分类目前共有 466 个项目,GitHub 星标数为 476。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-03。Apache-2.0 许可证,完全免费,需自行部署使用。

它主要面向的使用场景是:研究生成模型的内部机制和偏见来源。同类可对比的替代方案包括 Captum、SHAP、InterpretML。

上一篇:PromptInject

下一篇:Awesome-KV-Cache-Compression

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12