项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-29 · 当前星标 ★ 217
核心亮点
- 一个桌面端整合模型下载、三种推理引擎和对话/语音/图像/视频/OCR 多模态应用，减少工具切换成本
- 同时支持 llama.cpp、vLLM、SGLang，可按硬件条件灵活选择推理后端
- 本地优先设计，模型与数据留在本机，适合隐私敏感和离线场景
不足之处
- 项目处于早期，星标约 178，社区规模和文档完善度有待观察
- 同时维护三种推理引擎与多模态应用，安装配置和版本兼容可能较复杂
适用场景
- 在个人电脑上离线部署开源大模型并直接对话
- 需要语音合成、ASR 和 OCR 的本地多模态处理流程
- 用 vLLM 或 SGLang 在本地 GPU 上做高吞吐推理测试
替代项目
Ollama、LM Studio
上一篇：genai-factory
同类项目推荐
whylogs-java
开源
用 Java 给 ML 数据管道做实时体检，早发现数据漂移
Profile and monitor your ML data pipeline end-to-end
speculators
开源
统一投机解码库，让 vLLM 推理更快更省
A unified library for building, evaluating, and storing speculative decoding algorit···
cc-statistics
开源
一个面板看穿所有AI编程工具的花费与效率
AI Coding stats dashboard — track costs, tokens, and efficiency across Claude Code ···
rivet
开源
给 AI 智能体和协作应用装上持久记忆与实时状态
The orchestrator for agentic workloads. A fast, high-density and scalable orchestrat···
skills
开源
让 AI 助手秒变 Qdrant 专家，搞定向量搜索开发与运维
Agent skills for Qdrant vector search: scaling, performance optimization, search qua···
afm-Server
开源
把苹果设备端模型变成本地 OpenAI API，一键调用
macOS menu bar app that exposes Apple's on-device Foundation Models as an OpenAI-com···
dolt
开源
像 Git 管代码一样管数据库，分支合并回滚全搞定
Dolt – Git for Data
vllm-lens
开源
在 vLLM 推理中实时取激活、注入引导向量
Extract residual-stream activations and apply steering vectors (including activation···
xgrammar
开源
让大模型输出严格符合格式，又快又稳
Fast, Flexible and Portable Structured Generation