AnyJev

不训练，把任意 LLM 变成会算概率的决策器

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开发框架 🍴 复刻 180 🐛 待处理 12 👀 关注 13

GitHub ↗

GitHub 星标 ★ 1602

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费，PyPI可安装

项目预览

项目数据

分类开发框架

开发团队nokia-applied-research

GitHubhttps://github.com/nokia-applied-research/AnyJev

定价模式🏷️完全免费

价格说明开源免费，PyPI可安装

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型calibration,decision-model,jev,jev-model,llm,system-one,transformers,vllm

GitHub 星标★ 1602

上线时间2026-09-21 00:00:00

代码更新2026-10-21

仓库体积24.9 MB

本站数据更新2026-11-12

维护状态较活跃

收录时间2026-09-28

浏览次数1

项目介绍

AnyJev 是一个把任意大语言模型改造成 Jev 风格决策模型的 Python 框架。它不依赖额外训练，而是通过类型化决策（typed decisions）与概率校准，让 LLM 输出带真实概率的离散选项，而不是含糊的自然语言。项目解决的核心问题是：LLM 在需要做选择、打分或风险判断时，常给出无法量化、无法比较的答案，AnyJev 用校准层把模型输出映射成可解释的概率分布，并支持 vLLM、transformers 等推理后端。核心能力包括：把开放式生成转为结构化决策、对概率做校准以贴近真实频率、兼容多种模型与推理引擎、提供可复用的决策接口。适合需要让模型在业务规则下做可审计选择的开发者，当前仍在持续更新，欢迎 issue 与 PR。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-28 · 当前星标 ★ 1602

技术标签

calibration decision-model jev llm transformers

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 30 分钟部署方式：本地安装 4 步

环境要求

Python 环境（README 使用 pip 安装包）
Hugging Face Hub 上的模型权重，示例为 Qwen/Qwen2.5-7B-Instruct
vLLM（用于以 embed 任务启动决策服务）
可选的 transformers 推理后端支持

安装与启动步骤

1安装 AnyJev

用 pip 安装带 Hugging Face 支持可选依赖的 anyjev，README 明确给出该安装命令，建议在虚拟环境中执行。
```
pip install "anyjev[hf]"
```
2截断模型权重

README 说明决策通常只需约三分之二的 block，用 truncate 保留必要部分并输出到本地目录。
```
python -m anyjev.truncate Qwen/Qwen2.5-7B-Instruct 18 ./qwen-b18
```
3启动 vLLM 服务

以 embed 任务加载截断后的模型，池化器把隐藏状态原样交回给决策头。README 中该命令的 --override-pooler-config 部分被截断，请照官方 README 补全后再执行。
```
vllm serve ./qwen-b18 --task embed
```
4一条命令跑全流程

README 提到 pipeline 可把转换、服务与测量合成一条命令，适合快速验证整条链路。模型名按需替换。
```
python -m anyjev.pipeline Qwen/Qwen2.5-7B-Instruct
```