spark-local-inference
Rust 写的本地大模型推理服务底座，请求调度一把抓
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-08 · 当前星标 ★ 784
核心亮点
- 用 Rust 实现，运行时开销低，适合高并发请求场景
- 把模型加载、请求排队、批处理等推理服务环节整合成可复用底座，减少重复搭建
- 面向本地/私有化部署，数据不出本机，适合对隐私敏感的应用
不足之处
- 项目处于早期，API 和功能可能不稳定，生产可用性待验证
- 文档与社区生态尚不成熟，遇到问题可参考的资料有限
- 模型格式与硬件后端支持范围可能较窄，需自行确认兼容性
适用场景
- 在本地服务器上搭建私有推理服务，处理内部应用的模型调用
- 离线或内网环境下部署大模型能力，避免依赖外部 API
- 作为推理后端底座进行二次开发，定制调度与批处理策略
替代项目
llama.cpp、vLLM、Ollama
同类项目推荐
endee
开源
一个节点扛住10亿条数据，检索照样快如闪电
Endee.io – A high-performance vector database, designed to handle up to 1B vectors ···
metaai-api
开源
免 Key 调用 Meta AI，快速集成聊天、生图、生视频
FastAPI wrapper for Meta AI with chat, image generation & video generation. Easy dep···
ComfyUI-Docker
开源
一条命令拉起 ComfyUI，告别环境配置地狱
Dockerfile for ComfyUI. | 容器镜像与启动脚本
tokscale
开源
终端里统一看 AI 编程 token 消耗，参与全球排行。
️ Track token usage across AI coding agents from your terminal. Global leaderboard···
thepipe
开源
用视觉大模型，把复杂文档秒变干净数据
Get clean data from tricky documents, powered by vision-language models ⚡
gemini-business2api
开源
把 Gemini 商业版变成 OpenAI 接口，多账号负载均衡，还能生成图片视频。
OpenAI-compatible API for Gemini Business with multi-account load balancing and mult···
Eloquent
开源
本地多GPU跑AI，图像语音代码全搞定，零订阅
The most feature-complete local AI workstation. Multi-GPU inference, integrated Stab···
aqueduct
开源
在任意云上跑LLM和ML工作负载，但已停更
Aqueduct is no longer being maintained. Aqueduct allows you to run LLM and ML worklo···
steedos-platform
开源
用大白话把需求变成企业软件，AI 驱动快速搭建 ERP/CRM
The AI-Native Infrastructure for Enterprise Apps. Powered by ObjectStack (ObjectQL, ···