inseq

一键透视生成模型,看透每个 token 的决策依据

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 43 🐛 待处理 29 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 477
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,需自行部署使用。

项目预览

inseq 项目界面预览图
图片来源:项目官网

项目数据

分类开源模型
开发团队inseq-team
官网地址https://inseq.org
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型attribution-methods,captum,deep-learning,explainable-ai,generative-ai,huggingface,interpretability,language-generation,language-model,large-language-models,natural-language-processing,sequence-to-sequence,transformers
GitHub 星标★ 477
上线时间2021-09-14 00:00:00
代码更新2026-10-22
仓库体积8.9 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数4

项目介绍

inseq 是一个用于序列生成模型的可解释性工具库,专注于帮助研究者和开发者理解 LLM 等生成式模型在输出文本时的内部决策过程。它解决了生成模型(如 GPT、T5、BART)黑箱问题,提供特征归因、注意力可视化、对比分析等核心能力。通过统一的 API,用户可轻松获取 token 级别的归因分数,支持多种归因方法(如梯度、积分梯度、LIME 等),并能与 Hugging Face Transformers 无缝集成。其设计强调易用性和可扩展性,适合模型调试、偏见检测和可解释性研究。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 477

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 4 步

环境要求

  • Python
  • PyTorch

安装与启动步骤

  1. 1装包

    已发布到包索引。

    pip install inseq
  2. 2或从源码装

    要改代码就用源码方式。

    pip install git+https://github.com/inseq-team/inseq.git
  3. 3跑归因示例

    内置示例模型可离线跑,不必先配 Key。

  4. 4换成自己的模型

    换模型是它设计的用法,接口统一。

如何确认成功

对一个短句跑出 token 级归因结果,可视化图里能看出哪些输入词对输出贡献最大

注意事项

  • 它做的是序列到序列模型的特征归因,回答「输出该归给输入的哪部分」。
  • 支持多种归因算法,先从一个基础算法试,理解再换。
  • 内置示例不需要 API Key,验证环境时优先用它。
  • 归因结果只是解释性参考,不等于因果。

核心亮点

  • 与 Hugging Face 深度集成,几行代码即可对主流生成模型进行归因分析
  • 支持多种归因方法,并统一输出格式,便于对比和复现
  • 提供交互式可视化工具,直观展示 token 级归因结果

不足之处

  • 文档/社区待观察
  • 主要面向研究场景,对生产环境部署支持有限

适用场景

  • 研究生成模型的内部机制和偏见来源
  • 调试和优化生成式 NLP 模型(如问答、摘要)
  • 教学演示中展示模型决策过程

替代项目

Captum、SHAP、InterpretML

上一篇:PromptInject

下一篇:Awesome-KV-Cache-Compression

同类项目推荐

RiOSWorld 开源

测出你的电脑智能体有多“手贱”,防翻车必备

[NeurIPS 2025] Official repository of RiOSWorld: Benchmarking the Risk of Multimodal···

★ 126 2026-08-09
human-eval 开源

用164道题跑单元测试,量化代码模型写对率

Code for the paper "Evaluating Large Language Models Trained on Code"

★ 3424 2026-10-28
awesome-rsi 开源

一张图看懂 AI 自我改进的研究版图

A curated research map of Recursive Self-Improvement (RSI): models, agents, harnesse···

★ 978 2026-09-30
PatchEval 开源

用真实漏洞测大模型修 bug 的真本事

PatchEval: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilitie···

★ 236 2026-10-23
MMMU 开源

用大学级多模态考题,测出 AI 的真实专家水平

This repo contains evaluation code for the paper "MMMU: A Massive Multi-discipline M···

★ 601 2026-08-09
awesome-typesafe-jev 开源

一页看全 System One 的 SDK、演示与评测

Awesome Jev: a source-backed field guide to TypeSafe's System One model, with SDKs, ···

★ 616 2026-10-25
Tracekit 开源

给 AI Agent 装行车记录仪,每步可查、篡改可发现

Tamper-evident tracing, policy gates and cross-checks for AI agents: see what the ag···

★ 600 2026-10-21
vitest-evals 开源

用 Vitest 写 LLM 评测,像跑单测一样跑模型回归

A vitest extension for running evals.

★ 363 2026-09-14