项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 64
核心亮点
- 多GPU推理调度，能榨干本地显卡性能，降低大模型运行门槛
- 内置Stable Diffusion + ADetailer，图像生成和细节修复开箱即用
- 集成ELO评测系统，可量化对比模型能力，适合研究选型
不足之处
- 文档/社区待观察
- 早期项目，功能稳定性未经过大规模验证
适用场景
- 本地AI开发与模型评测，需要客观对比多个LLM或图像模型
- 隐私敏感场景，如医疗或法律数据，要求数据不出本机
- 创意工作者快速生成图像并增强细节，同时进行语音克隆实验
替代项目
LM Studio、Ollama、InvokeAI
下一篇：ollama-api
同类项目推荐
esProc
开源
用 Java 生态的 SPL 语言，轻松搞定复杂数据计算。
esProc SPL is a JVM-based programming language designed for structured data computat···
langfuse-js
开源
给 LLM 应用装上监控，追踪每次调用与成本
Langfuse JS/TS SDK
APIPark
开源
一个网关管所有AI大模型，统一接入、负载均衡、灾备无忧。
Cloud native, ultra-high performance AI&API gateway, LLM API management, distributio···
llamafile
开源
一个文件搞定大模型，下载即用，跨平台运行
Distribute and run LLMs with a single file.
deepflow
开源
无需改代码，eBPF 自动搞定全链路追踪和性能剖析
eBPF Observability - Distributed Tracing and Profiling
openllmetry
开源
用 OpenTelemetry 一键监控你的大模型应用，看清每次调用和成本。
Open-source observability for your GenAI or LLM application, based on OpenTelemetry
tart
开源
在 Apple Silicon 上秒级拉起 macOS/Linux 虚拟机跑 CI
macOS and Linux VMs on Apple Silicon to use in CI and other automations
inference
开源
一行代码部署视觉模型，让任何设备秒变 CV 指挥中心
Turn any computer or edge device into a command center for your computer vision proj···
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···