项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-13 · 当前星标 ★ 454
核心亮点
- 针对 StartLux-Decision 做专用量化校准，int8 与 4-bit 权重可直接加载官方 GGUF，无需自行转换
- 用 CUDA Graph 捕获推理图，减少内核启动与调度开销，是其延迟优势的主要来源之一
- 在 FP8 对比下相对 vLLM 最高约 5.3 倍更低延迟，且保持与原始模型逐位一致的输出，兼顾速度与可复现性
不足之处
- 仅适配 StartLux-Decision 系列模型与 NVIDIA GPU，通用性和硬件覆盖面有限
- 早期项目，文档与社区生态尚不完善，量化校准流程对使用者的调参经验有一定要求
适用场景
- 实时决策类服务的低延迟推理部署
- 需要结果可复现、逐位一致的决策模型线上服务
- 在 NVIDIA GPU 上对决策模型做 int8/4-bit 量化压缩后部署
替代项目
vLLM、TensorRT-LLM、llama.cpp
上一篇：RustingStrata
下一篇：WeeLLM
同类项目推荐
casdoor
开源
为 AI Agent 和 MCP 提供一站式身份认证与授权网关
An open-source Agent-first Identity and Access Management (IAM) /LLM MCP & agent gat···
mcp-pinecone
开源
让AI直接读写Pinecone向量库，实现简易RAG
Model Context Protocol server to allow for reading and writing from Pinecone. Rudime···
tokentab
开源
一条命令，算清所有 AI 编程工具花了多少钱
A CLI that reads Claude Code, Codex, and Gemini CLI session logs and works out how m···
opendray
开源
统一网关，让多个 AI 编码代理在自有服务器上协同工作
Self-hosted gateway for Claude Code, Codex, Antigravity, Grok Build, OpenCode. Run A···
Lexoid
开源
把脏乱数据变成 AI 能用的干净上下文
The open-source universal adapter for LLMs. Turn messy real-world data into clean, a···
Misceo
开源
让 AI 调用自动选便宜模型，质量不翻车，成本一目了然
Local Anthropic-compatible AI gateway with cheap-first routing, quality gates, safe ···
anyquery
开源
用 SQL 一把梭，轻松查遍 60+ 工具数据，还能喂给 AI
One SQL interface for 60+ tools (e.g., GitHub, Notion, Airtable). Plug into any LLM ···
VectorChord
开源
在 Postgres 里实现大规模向量搜索，更快更省磁盘。
Scalable, fast, and disk-friendly vector search in Postgres, the successor of pgvect···
ai00_server
开源
一键部署 RWKV 模型，集成聊天、嵌入、RAG 和智能代理。
The all-in-one RWKV runtime box with embed, RAG, AI agents, and more.