项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-13 · 当前星标 ★ 153
核心亮点
- 不量化即可在 4GB 显存推理，保留原始权重精度
- 按可用显存动态决定层数并逐层流式加载，适配不同显卡
- 同时支持 safetensors 和 GGUF 两种权重格式
不足之处
- 逐层搬运带来额外 IO 与调度开销，推理速度明显慢于全量驻留显存
- 项目星标较少、属早期阶段，接口与兼容性可能频繁变动
- 多模型适配依赖逐个验证，冷门模型或新版本可能尚未覆盖
适用场景
- 显存 4-8GB 的消费级显卡本地跑 FLUX 等大模型出图
- 不想用量化、希望保持原始精度做对比实验的研究场景
- 在有限显存的开发机或边缘设备上部署文生图推理
替代项目
ComfyUI、diffusers、stable-diffusion-webui
上一篇：StartLux-Prism
下一篇：comfyui-deploy
同类项目推荐
xgrammar
开源
让大模型输出严格符合格式，又快又稳
Fast, Flexible and Portable Structured Generation
AegisGate
开源
给 AI 代理加个安全门，防注入、防泄露、防危险输出
Open-source security gateway for LLM APIs — prompt injection detection, PII redacti···
stable-diffusion-webui-docker
开源
一条命令跑起 Stable Diffusion WebUI，告别环境配置地狱
Easy Docker setup for Stable Diffusion with user-friendly UI
sbx-releases
开源
给 AI 编码代理一个隔离沙箱，随便跑不伤本机
Docker Sandboxes run AI coding agents in isolated environments on your machine or on···
MagiCompiler
开源
插上就快，视频生成模型推理训练免费提速
A plug-and-play compiler that delivers free-lunch optimizations for both inference a···
vLLM-metax
开源
让 vLLM 跑在沐曦 GPU 上，国产卡也能高吞吐推理
Community maintained hardware plugin for vLLM on MetaX GPU
agentgateway
开源
给 AI Agent 装个智能网关，统一管理 API、MCP 和权限，让调用更安全可控。
Next Generation Agentic Proxy for AI Agents and MCP servers
fastrtc
开源
几行 Python 代码，让应用实时开口说话
The python library for real-time communication
awesome-ai-sre
开源
一站式找到 AI 运维神器，快速定位故障、省成本
AI SRE tools for RCA, Incident Response, Cost-Saving, Infra management, DevOps and m···