StartLux-Decision

给每个选项打分,让 AI 决策可量化

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 169 🐛 待处理 18 👀 关注 68
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1778
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源模型权重,免费使用

项目预览

StartLux-Decision 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队StartLuxLabs
定价模式🏷️完全免费
价格说明开源模型权重,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agents,calibration,classification,decision-making,gguf,inference,llama-cpp,llm,mlx,open-weights,reasoning,vllm
GitHub 星标★ 1778
上线时间2026-09-29 00:00:00
代码更新2026-10-23
仓库体积113.4 MB
本站数据更新2026-11-21
维护状态较活跃
收录时间2026-10-07
浏览次数10

项目介绍

StartLux-Decision 是一组带类型约束的决策模型,参数规模覆盖 0.8B 到 35B-A3B(MoE 架构),支持文本与图像输入,上下文长度达 256K token。它的核心特点是把「决策」建模成概率分布:对每个问题,模型不是只给一个答案,而是为每个候选选项输出一个概率值,便于下游做风险权衡、置信度过滤和自动化决策。项目用 Python 实现,适合需要可解释、可量化的选择场景,比如内容审核分级、推荐排序、多模态问答中的选项打分,以及 agent 在多个动作之间做概率化取舍。相比普通生成模型只输出文本,它把输出结构化、数值化,方便与业务规则结合,也便于评估模型在不确定情况下的表现。目前项目处于早期,星标约 228,模型权重与推理代码的完整度、评测基准和部署工具链仍需进一步观察。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 1778

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 5 步

环境要求

  • Python 3.9 及以上
  • 已安装 vLLM 的 Python 环境(README 用 vLLM 0.31.0,0.19.1 亦可)
  • 可用的 NVIDIA GPU(--launch-vllm 会每张 GPU 起一个 vLLM server)
  • 能执行 hf download 的 Hugging Face CLI 与网络访问
  • 本地磁盘空间用于存放模型权重

安装与启动步骤

  1. 1克隆仓库

    把项目源码拉到本地,后续 pip 安装和 examples 示例都依赖该目录。

    git clone https://github.com/StartLuxLabs/StartLux-Decision.git
    cd StartLux-Decision
  2. 2安装依赖

    在同一个 Python 环境里安装项目及 vLLM 插件,Instant 模型依赖该插件才能跑。

    pip install -e '.[vllm]'
  3. 3下载模型

    下载 4B AutoThink 权重到本地 models 目录,模型名和路径需与下一步一致。

    hf download startlux-models/StartLux-Decision-v1.1-4B-AutoThink --local-dir models/StartLux-Decision-v1.1-4B-AutoThink
  4. 4启动决策服务

    用 8090 端口启动决策服务,--gpus 指定显卡,--launch-vllm 会自动为每张卡起后端。

    startlux-decide serve --model models/StartLux-Decision-v1.1-4B-AutoThink --launch-vllm --gpus 0,1,2,3 --port 8090
  5. 5发起请求验证

    向 /v1/systemone 发一个工单分类请求,检查返回是否包含各问题的概率结果。

    curl -s localhost:8090/v1/systemone -H 'Content-Type: application/json' -d '{
      "state": {"ticket": "I was charged twice for order #4411 and the app still shows it as unpaid."},
      "questions": {
        "team":     {"type": "choice", "instructions": "Which team should handle this ticket?",
                     "criteria": {"billing": "Payments and refunds", "shipping": "Delivery", "technical": "App and login"}},
        "urgent":   {"type": "noul", "instructions": "Should this ticket be answered today?"},
        "severity": {"type": "score", "instructions": "How severe is the impact?",
                     "criteria": ["cosmetic", "annoying", "blocks the customer"]}
      }
    }'

关键配置

配置项必填说明示例
--model是指向本地下载好的模型权重目录models/StartLux-Decision-v1.1-4B-AutoThink
--launch-vllm否自动为每张 GPU 拉起 vLLM 后端服务--launch-vllm
--gpus否指定使用的 GPU 编号,逗号分隔0,1,2,3
--port否决策服务监听端口,示例请求用 80908090
state是请求中的状态输入,可为文本、JSON 或图像{"ticket": "I was charged twice..."}
questions是带类型的问题集合,类型为 choice/noul/score{"urgent": {"type": "noul", "instructions": "..."}}

如何确认成功

curl 请求返回 JSON,含 answers 中各问题的 choice、noul 或 score 及概率、usage 和 model 字段,即表示服务正常。

常见问题

Q:没有 GPU 能试用吗?

A:可以,README 推荐用 bamboonode.dev,它托管 27B AutoThink 模型,请求格式同为 POST /v1/decisions,只需一个 Bamboo API key,免费且不限次数。

Q:vLLM 版本有要求吗?

A:README 安装的是 vLLM 0.31.0,官方公布的数据是在 0.19.1 上测得的,0.19.1 同样受支持。

Q:为什么需要多张 GPU?

A:--launch-vllm 会为每张 GPU 各起一个 vLLM server,通过 --gpus 指定卡号即可,单卡也可只用一张卡编号。

Q:返回值里 noul、score 怎么理解?

A:noul 是“是”的概率;score 是期望档位并给出每一档的概率;none_probability 表示所列选项都不合适的概率。

Q:AutoThink 什么时候会多想一步?

A:当最高概率达到门控阈值时单次前向即作答,默认阈值为 0.6。

注意事项

  • 模型权重通过 Hugging Face 的 startlux-models 组织发布,需保证 hf download 可用。
  • 同一个 Python 环境中安装本包与 vLLM,否则 Instant 模型所需的 vLLM 插件无法生效。
  • examples/ 目录提供 Python 版同款请求、带图片的请求以及小型批量客户端,可直接参考改写。
  • 线上/免部署调用使用 /v1/decisions 接口,本地自建服务示例用的是 /v1/systemone,注意区分。

核心亮点

  • 输出每个选项的概率而非单一答案,便于做置信度阈值和风险控制
  • 0.8B 到 35B-A3B 多尺寸覆盖,小模型可本地跑,大模型走 MoE 省算力
  • 同时支持文本和图像输入,256K 上下文适合长文档或多图决策场景

不足之处

  • 早期项目,模型权重、评测结果和部署文档的完整度待观察
  • 概率校准质量缺少公开基准验证,实际业务中可能需要额外微调

适用场景

  • 多模态客服工单自动分级与路由
  • Agent 在多个动作间做概率化选择
  • 长文档/多图内容的审核与风险打分

替代项目

LLaVA、Qwen-VL、InternVL

上一篇:Valley

下一篇:flux-action

同类项目推荐

LlamaGen 开源

用语言模型的方式生成图像,自回归也能打败扩散模型

Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation

★ 1972 2026-08-09
OneJev 开源

一次前向传播,给屏幕/视频/图文问题带置信度的答案

A multimodal System One decision model that gives calibrated answers to typed questi···

★ 283 2026-10-10
Awesome-AITools 开源

一个列表,网罗AI实用工具,省去全网搜索。

This repo collects awesome AI tools. Welcome everyone to recommend more awesome AI t···

★ 6362 2026-08-09
SALMONN 开源

让AI听懂声音、看懂画面,多模态对话更自然

SALMONN family: A suite of advanced multi-modal LLMs

★ 1575 2026-08-09
llama2-webui 开源

本地一键运行 Llama 2,网页聊天即刻上手

Run any Llama 2 locally with gradio UI on GPU or CPU from anywhere (Linux/Windows/Ma···

★ 1930 2026-08-09
lag-llama 开源

用大模型做时间序列预测,零样本也能出结果

Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting

★ 1602 2026-08-09
LLMsPracticalGuide 开源

一份清单,带你系统掌握大模型实战资源

A curated list of practical guide resources of LLMs (LLMs Tree, Examples, Papers)

★ 10214 2026-08-09
Ovis 开源

让视觉与语言无缝对齐,构建更强多模态大模型。

A novel Multimodal Large Language Model (MLLM) architecture, designed to structurall···

★ 1536 2026-08-09
BioReason 开源

让 AI 读懂 DNA,自动进行多模态生物推理

BioReason: Incentivizing Multimodal Biological Reasoning within a DNA-LLM Model | ···

★ 407 2026-08-09