
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 101
核心亮点
- 把模型部署、监控、调参收进一个可视化界面,降低本地 LLM 上手门槛
- 基于 llama.cpp + GGUF,对量化模型和消费级硬件友好
- 集成 ComfyUI,文本推理和图像/视频生成共用一套控制台
不足之处
- 项目处于早期,星标仅 106,功能稳定性和文档完善度待观察
- 依赖 ComfyUI 等外部组件,环境配置可能仍有一定复杂度
适用场景
- 个人开发者在本地电脑快速部署和试用开源 LLM
- 小团队在私有服务器上搭建带监控的模型推理服务
- 需要同时做文本生成和图像/视频生成的 AIGC 实验环境
替代项目
Ollama、LocalAI
同类项目推荐
chats
开源
一套接口接入21+大模型,聊天与网关开箱即用
A powerful and flexible frontend & AI gateway for large language models, supporting ···
WaLiAPI
开源
把多家大模型渠道收进本地网关,一个地址喂给所有 AI 编程工具
WaLiAPI 是一款本地运行的 LLM API 网关桌面软件(Tauri 2 + React + Rust)。支持各类 LL···
beneath
开源
免运维的实时数据管道,一键接入,秒级查询。
Beneath is a serverless real-time data platform ⚡️
hongbomiao.com
开源
把个人研发实验变成可分享的知识库
A personal research and development (R&D) lab that facilitates the sharing of knowle···
gpu-telemetry
开源
一个代理,让每块 GPU 的消耗都精确到 Pod 或作业
GPU Observability with workload attribution. One OTLP agent per node ties hardware m···
llm-sandbox
开源
给 LLM 一个安全的代码沙箱,跑 AI 生成的代码不翻车
Lightweight and portable LLM sandbox runtime (code interpreter) Python library.
toolport
开源
一个端口管所有 AI 工具,省 token 又安全
Local-first MCP gateway. Set up MCP servers once and use them in every AI client, wi···
gateway
开源
一个 API 接入 1600+ 模型,内置安全护栏,AI 应用开发提速。
A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI G···
vpscheck
开源
一键检测 VPS 解锁和性能,买前扫雷买后安心
️ VPS全能检测脚本,一键检测Netflix/Disney+/ChatGPT/Gemini等流媒体和AI服务解锁情况,···