jev

环境要求

• Python 环境（README 使用 uv 管理依赖）
• 已安装 uv 工具
• 下载 jevos-q4_k_m.gguf 模型文件（来自 GitHub release）
• 纯 CPU 即可运行，无需 GPU 或联网

安装与启动步骤

1. 1下载模型文件

   从 GitHub release 页面下载 jevos-q4_k_m.gguf，放到当前工作目录，后续启动命令直接引用该文件名。

2. 2同步依赖

   在项目根目录执行 uv sync，按 README 说明安装 Python 依赖，确保后续 jev 命令可用。

   uv sync

   复制

3. 3下载运行时

   拉取适配本机平台的 llama.cpp 运行时，--only runtime 表示只下载运行所需的二进制。

   uv run jev download --only runtime

   复制

4. 4启动服务

   用 CPU 推理启动 FastAPI 服务，--threads 16 按机器核数调整，服务默认监听 127.0.0.1:8017。

   uv run jev serve --gguf jevos-q4_k_m.gguf --device cpu --threads 16

   复制

5. 5调用接口测试

   用 curl 向 /v1/systemone 发送 JSON，state 填文本、questions 填是/否问题，返回 noul 概率值。

   curl http://127.0.0.1:8017/v1/systemone -H 'Content-Type: application/json' -d '{
     "model": "jev-latest",
     "state": "I was charged twice for the same order.",
     "questions": {"billing": {"type": "noul", "instructions": "Is this a billing problem?"}}}'

   复制

6. 6打开演示页面

   在浏览器访问 /dino 路径，可观看模型在 CPU 上玩 Chrome 恐龙小游戏的演示效果。

关键配置

如何确认成功

服务启动后访问 http://127.0.0.1:8017/dino 能看到恐龙游戏页面；curl 调用 /v1/systemone 返回含 noul 概率的 JSON 即成功。

常见问题

注意事项

• context 上限为 8,192 tokens，超长文本需自行截断。
• 默认监听 127.0.0.1:8017，对外服务时注意端口与访问控制。
• docs 未给出额外配置文件说明，参数通过命令行传入。