项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 286
技术标签
核心亮点
- 自动检测 GPU 并调优推理参数，省去手动配置 llama.cpp 的麻烦
- 同时提供 OpenAI 与 Anthropic 兼容 API，Claude Code 可一键指向本机
- 无 Electron、无 Python 依赖，TypeScript 实现，部署轻量且离线优先
不足之处
- 项目仍处早期，272 星标，生态与文档完善度有限
- 仅支持本地单机场景，缺少多用户、集群或远程调度能力
适用场景
- 开发者想在本地私有化运行大模型，避免数据外传
- 用 Claude Code 等 AI 编程工具但希望走本地推理省 API 费用
- 需要统一管理多个 GGUF 模型并快速切换的本地实验环境
替代项目
Ollama、LM Studio、llama.cpp
同类项目推荐
ai-infra-landscape
开源
一张图看懂生成式AI基础设施全景，快速定位技术选型
This is a landscape of the infrastructure that powers the generative AI ecosystem
awesome-mlops
开源
一张清单，快速摸清 MLOps 工具全家桶，选型不抓瞎
:sunglasses: A curated list of awesome MLOps tools
python
开源
用 Python 轻松驾驭大规模向量检索，性能与稳定兼得
Python client for Antarys vector database, optimized for large-scale vector operatio···
selfhostedAI
开源
一键自托管 AI，小白也能轻松跑起图像生成
A collection of one-click self-hosted AI
pymilo
开源
统一序列化 ML 模型，跨框架安全保存与加载
PyMilo: Python for ML I/O
BigMoeOnEdge
开源
12GB 手机纯 CPU 跑超内存 MoE 大模型，无损不降智
Run MoE models bigger than your RAM. Frontier-size MoE on a phone, laptop, edge. Los···
PowerInfer
开源
让普通电脑也能飞快跑大模型，省显存不减速
High-speed Large Language Model Serving for Local Deployment
llm-d-kv-cache
开源
把大模型KV缓存拆到多机，省显存提吞吐
Distributed KV cache scheduling & offloading libraries
open-connector
开源
一键连接千款 SaaS，让 AI 智能体轻松调用外部工具
Open-source auth gateway connecting 1500+ SaaS providers to AI agents through SDK, C···