项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 1778
使用教程
环境要求
- Python 3.9 及以上
- 已安装 vLLM 的 Python 环境(README 用 vLLM 0.31.0,0.19.1 亦可)
- 可用的 NVIDIA GPU(--launch-vllm 会每张 GPU 起一个 vLLM server)
- 能执行 hf download 的 Hugging Face CLI 与网络访问
- 本地磁盘空间用于存放模型权重
安装与启动步骤
-
1克隆仓库
把项目源码拉到本地,后续 pip 安装和 examples 示例都依赖该目录。
git clone https://github.com/StartLuxLabs/StartLux-Decision.git cd StartLux-Decision -
2安装依赖
在同一个 Python 环境里安装项目及 vLLM 插件,Instant 模型依赖该插件才能跑。
pip install -e '.[vllm]' -
3下载模型
下载 4B AutoThink 权重到本地 models 目录,模型名和路径需与下一步一致。
hf download startlux-models/StartLux-Decision-v1.1-4B-AutoThink --local-dir models/StartLux-Decision-v1.1-4B-AutoThink -
4启动决策服务
用 8090 端口启动决策服务,--gpus 指定显卡,--launch-vllm 会自动为每张卡起后端。
startlux-decide serve --model models/StartLux-Decision-v1.1-4B-AutoThink --launch-vllm --gpus 0,1,2,3 --port 8090 -
5发起请求验证
向 /v1/systemone 发一个工单分类请求,检查返回是否包含各问题的概率结果。
curl -s localhost:8090/v1/systemone -H 'Content-Type: application/json' -d '{ "state": {"ticket": "I was charged twice for order #4411 and the app still shows it as unpaid."}, "questions": { "team": {"type": "choice", "instructions": "Which team should handle this ticket?", "criteria": {"billing": "Payments and refunds", "shipping": "Delivery", "technical": "App and login"}}, "urgent": {"type": "noul", "instructions": "Should this ticket be answered today?"}, "severity": {"type": "score", "instructions": "How severe is the impact?", "criteria": ["cosmetic", "annoying", "blocks the customer"]} } }'
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--model | 是 | 指向本地下载好的模型权重目录 | models/StartLux-Decision-v1.1-4B-AutoThink |
--launch-vllm | 否 | 自动为每张 GPU 拉起 vLLM 后端服务 | --launch-vllm |
--gpus | 否 | 指定使用的 GPU 编号,逗号分隔 | 0,1,2,3 |
--port | 否 | 决策服务监听端口,示例请求用 8090 | 8090 |
state | 是 | 请求中的状态输入,可为文本、JSON 或图像 | {"ticket": "I was charged twice..."} |
questions | 是 | 带类型的问题集合,类型为 choice/noul/score | {"urgent": {"type": "noul", "instructions": "..."}} |
如何确认成功
curl 请求返回 JSON,含 answers 中各问题的 choice、noul 或 score 及概率、usage 和 model 字段,即表示服务正常。
常见问题
Q:没有 GPU 能试用吗?
A:可以,README 推荐用 bamboonode.dev,它托管 27B AutoThink 模型,请求格式同为 POST /v1/decisions,只需一个 Bamboo API key,免费且不限次数。
Q:vLLM 版本有要求吗?
A:README 安装的是 vLLM 0.31.0,官方公布的数据是在 0.19.1 上测得的,0.19.1 同样受支持。
Q:为什么需要多张 GPU?
A:--launch-vllm 会为每张 GPU 各起一个 vLLM server,通过 --gpus 指定卡号即可,单卡也可只用一张卡编号。
Q:返回值里 noul、score 怎么理解?
A:noul 是“是”的概率;score 是期望档位并给出每一档的概率;none_probability 表示所列选项都不合适的概率。
Q:AutoThink 什么时候会多想一步?
A:当最高概率达到门控阈值时单次前向即作答,默认阈值为 0.6。
注意事项
- 模型权重通过 Hugging Face 的 startlux-models 组织发布,需保证 hf download 可用。
- 同一个 Python 环境中安装本包与 vLLM,否则 Instant 模型所需的 vLLM 插件无法生效。
- examples/ 目录提供 Python 版同款请求、带图片的请求以及小型批量客户端,可直接参考改写。
- 线上/免部署调用使用 /v1/decisions 接口,本地自建服务示例用的是 /v1/systemone,注意区分。
核心亮点
- 输出每个选项的概率而非单一答案,便于做置信度阈值和风险控制
- 0.8B 到 35B-A3B 多尺寸覆盖,小模型可本地跑,大模型走 MoE 省算力
- 同时支持文本和图像输入,256K 上下文适合长文档或多图决策场景
不足之处
- 早期项目,模型权重、评测结果和部署文档的完整度待观察
- 概率校准质量缺少公开基准验证,实际业务中可能需要额外微调
适用场景
- 多模态客服工单自动分级与路由
- Agent 在多个动作间做概率化选择
- 长文档/多图内容的审核与风险打分
替代项目
LLaVA、Qwen-VL、InternVL
上一篇:Valley
下一篇:flux-action
同类项目推荐
LlamaGen
开源
用语言模型的方式生成图像,自回归也能打败扩散模型
Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation
OneJev
开源
一次前向传播,给屏幕/视频/图文问题带置信度的答案
A multimodal System One decision model that gives calibrated answers to typed questi···
Awesome-AITools
开源
一个列表,网罗AI实用工具,省去全网搜索。
This repo collects awesome AI tools. Welcome everyone to recommend more awesome AI t···
SALMONN
开源
让AI听懂声音、看懂画面,多模态对话更自然
SALMONN family: A suite of advanced multi-modal LLMs
llama2-webui
开源
本地一键运行 Llama 2,网页聊天即刻上手
Run any Llama 2 locally with gradio UI on GPU or CPU from anywhere (Linux/Windows/Ma···
lag-llama
开源
用大模型做时间序列预测,零样本也能出结果
Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting
LLMsPracticalGuide
开源
一份清单,带你系统掌握大模型实战资源
A curated list of practical guide resources of LLMs (LLMs Tree, Examples, Papers)
Ovis
开源
让视觉与语言无缝对齐,构建更强多模态大模型。
A novel Multimodal Large Language Model (MLLM) architecture, designed to structurall···
BioReason
开源
让 AI 读懂 DNA,自动进行多模态生物推理
BioReason: Incentivizing Multimodal Biological Reasoning within a DNA-LLM Model | ···
