surprisal

统一接口,一键计算任意语言模型的惊异度

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 11 🐛 待处理 3 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 53
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

surprisal 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队aalok-sathe
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型gpt,language-modeling,large-language-models,log-likelihood,next-word-prediction,surprisal
GitHub 星标★ 53
上线时间2022-07-19 00:00:00
代码更新2026-10-19
仓库体积676 KB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数5

项目介绍

surprisal 是一个用于从语言模型中计算惊异度(surprisal,即对数概率)的统一接口库。它解决了不同语言模型(神经模型、符号模型、黑盒 API 模型)在计算概率输出时接口不一致、难以切换和比较的问题。核心能力包括:提供统一的 Python API 来获取 token 级别的对数概率;支持多种模型后端,如神经模型(Hugging Face Transformers)、符号模型(如 PCFG)以及通过 API 访问的闭源模型;能够输出结构化的概率数据,便于下游分析(如心理语言学、认知科学研究)。项目处于早期阶段,代码简洁,易于扩展,适合研究者快速集成不同模型进行惊异度对比实验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 53

技术标签

核心亮点

  • 统一抽象层,切换神经/符号/API 模型只需改一行配置
  • 直接输出 token 级对数概率,省去手动处理 logits 的麻烦
  • 轻量无依赖,易于集成到现有 NLP 或心理语言学 pipeline

不足之处

  • 文档/社区待观察
  • 目前支持的模型后端数量有限,扩展需自行编写适配器

适用场景

  • 心理语言学实验:比较不同模型对人类阅读时间的预测
  • 语言模型评估:快速计算测试集上的平均惊异度
  • 跨模型对比:统一接口下比较神经与符号模型的概率输出

替代项目

minicons、lm-evaluation-harness、transformers

上一篇:thepipe

下一篇:nexus

同类项目推荐

edgee 开源

一条命令接入 Edgee 网关,让所有 AI 编程助手省钱省心。

Official Edgee CLI to interract with Edgee's Agent Gateway. Route Claude Code, Codex···

★ 143 2026-08-09
medharness 开源

给医院大模型流量装上合规闸门,防泄露、可审计、控成本。

让医疗机构所有大模型流量:PHI 不外泄 · 模型走白名单 · 全量可审计 · 成本可控。

★ 83 2026-08-09
edgevec 开源

把向量搜索跑在浏览器和边缘,数据不出端

High-performance vector search for Browser, Node, and Edge

★ 100 2026-11-02
skald 开源

把 AI 上下文管起来,让应用更聪明更省钱

Context layer platform in your infrastructure

★ 563 2026-08-09
mlops-v2 开源

用模板在 Azure 上快速搭建企业级机器学习自动化流水线

Azure MLOps (v2) solution accelerators. Enterprise ready templates to deploy your ma···

★ 659 2026-08-09
ClawManager 开源

在 K8s 上统一管好 AI Agent 实例和访问权限

A Kubernetes-native control plane for AI agent instance management, with governed AI···

★ 1888 2026-09-16
OmniKey-AI-Unified-Key-Manager 开源

统一管理多平台 LLM 密钥,自动故障转移,调用更稳更省心。

A self-hosted LLM proxy and failover gateway supporting OpenAI & Gemini compatible e···

★ 134 2026-08-09
wasmer 开源

毫秒级启动的 WebAssembly 沙箱,安全跑不可信代码

Fast and lightweight sandboxes for your apps and AI agents

★ 21229 2026-09-22
OctoBus 开源

给AI智能体装上安全闸门,只放行企业批准的API调用。

A secure local gateway for AI agents to reliably call approved enterprise APIs, tool···

★ 211 2026-08-09