LLM2Jev

本地大模型免逐字解码,prefill 一步出结构化决策结果

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开发框架 🍴 复刻 54 👀 关注 2
GitHub ↗
GitHub 星标 ★ 484
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,免费使用

项目预览

LLM2Jev 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开发框架
开发团队Yinsongxu
定价模式🏷️完全免费
价格说明开源项目,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型jev,llm,mllm
GitHub 星标★ 484
上线时间2026-09-19 00:00:00
代码更新2026-10-16
仓库体积7.4 MB
本站数据更新2026-11-10
维护状态较活跃
收录时间2026-09-26
浏览次数2

项目介绍

LLM2Jev 是一个把本地大语言模型(含多模态模型)改造成 Jev 风格结构化决策模型的开发框架。传统 LLM 生成结果需要逐 token 解码,速度慢且输出格式不稳定;该项目通过 prefill 阶段直接得到结构化决策结果,无需逐 token 解码,从而显著降低推理延迟并保证输出结构可控。它支持文本和图像输入,适合需要本地部署、对响应速度和输出格式有硬性要求的场景,例如分类、打分、路由、表单抽取等决策型任务。项目用 Python 编写,基于 jev、llm、mllm 技术栈,目前处于早期阶段,星标数约 334,适合愿意跟进新范式、自己动手集成和调优的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-26 · 当前星标 ★ 484

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 35 分钟 部署方式:本地安装 4 步

环境要求

  • Python
  • PyTorch

安装与启动步骤

  1. 1拉代码

    研究工程,含多后端适配。

    git clone https://github.com/Yinsongxu/LLM2Jev.git
  2. 2装依赖

    按仓库说明装,后端可选。

  3. 3跑单元测试

    测试能过说明环境没问题。

    python -m unittest discover -s tests -v
  4. 4换成自己的模型

    它直接把已有权重当判别器用。

如何确认成功

跑通单元测试,并用自己的模型对一条文本输出各候选动作的概率分布

注意事项

  • 它把已有语言模型直接当分类器与打分器用,不重新训练,只要一次前向。
  • 支持多个推理后端,按自己已有的环境选,别全都装。
  • 适合选项固定、需要概率输出的场景(分类、打分、动作选择)。
  • 研究代码,接口随版本变动,锁版本再集成。

核心亮点

  • 用 prefill 直接产出结构化决策,省去逐 token 解码,推理延迟明显更低
  • 同时支持文本与图像输入,多模态决策场景可直接复用
  • 输出为 Jev 风格结构化结果,格式稳定,便于下游程序解析和接入

不足之处

  • 早期项目,生态与周边工具链尚不成熟
  • 依赖本地模型部署,对硬件和模型适配有一定门槛

适用场景

  • 本地部署的文本分类、意图识别与路由决策
  • 图像内容审核或打标,需要结构化输出的多模态任务
  • 对响应延迟敏感、要求输出格式固定的在线服务

替代项目

Outlines、LMQL、Guidance

上一篇:dsh-hub-cli

下一篇:TypeLLM

同类项目推荐

ado 开源

把实验设计、跑批、分析一条龙管起来,省心复现结果。

Run computational experiment campaigns at scale, and let coding agents autonomously ···

★ 67 2026-08-09
weave 开源

让多个AI同时改代码,不再互相打架,冲突减少95%

Entity-level git merge driver. Resolves false conflicts git invents when independent···

★ 1355 2026-08-09
comfyui-tooling-nodes 开源

把 ComfyUI 变成外部工具的图像处理后端,免去文件上传下载,直接传图拿结果。

Nodes for using ComfyUI as a backend for external tools. Send and receive images dir···

★ 680 2026-08-09
agent-spec 开源

给 AI 代理定验收标准,任务执行不跑偏

`agent-spec` is an AI-native BDD/spec verification tool for task execution.

★ 463 2026-08-09
dsh-codex-subscription 开源

用 ChatGPT 订阅额度直连 DSH,免 API Key 免 CLI

Use your ChatGPT Plus / Pro (Codex) subscription in DeepSeek Harness (DSH): GPT-6 & ···

★ 418 2026-10-06
openai 开源

Flutter 应用一行接入大模型,聊天语音微调全支持

The unofficial OpenAI SDK for Dart & Flutter. Full API coverage + OpenAI-compatible ···

★ 665 2026-09-16
cligent 开源

一套 SDK 搞定多种 AI 编码代理,告别重复适配

Unified TypeScript SDK for AI agents - Claude Code, Codex, Gemini CLI, OpenCode, and···

★ 57 2026-08-09
TANGO 开源

不写代码,自动生成并运维目标导向的神经网络。

public repo for TANGO (Target Aware No-code neural network Generation and Operation ···

★ 164 2026-08-09