项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-13 · 当前星标 ★ 187
核心亮点
- 模型无关设计，同一套量化流程覆盖文本、图像、视频、音频多种模态
- 兼容 llama.cpp、vLLM、Diffusers、PyTorch 多个推理后端，量化产物落地路径清晰
- C++ 实现，量化过程性能开销较低，适合本地与私有化部署
不足之处
- 项目处于早期阶段，星标数较少，生态与文档完善度有待观察
- 多后端兼容意味着各框架的量化效果与支持程度可能存在差异，需逐项验证
适用场景
- 在本地机器上量化并运行开源大语言模型，降低显存占用
- 对图像生成模型做量化后配合 Diffusers 推理
- 将音频或多模态模型量化后部署到私有环境
替代项目
llama.cpp、AutoGPTQ、bitsandbytes
上一篇：strata-mlx
下一篇：RustingStrata
同类项目推荐
shellward
开源
一行命令，给 AI 项目做合规体检，防数据泄露
AI 应用合规网关 · 一行命令体检 AI 项目的「数据出境 / 硬编码密钥 / 个人信息暴露」（网···
ccLoad
开源
自动切换 AI 渠道，告别手动运维，提升调用稳定性
Self-hosted AI API gateway for Claude Code, Codex and Gemini: pool API keys and subs···
openclaw-dashboard
开源
自托管面板，实时看住 AI 智能体的行为与花费
Secure, real-time monitoring dashboard for OpenClaw AI agents. Auth, TOTP MFA, cost ···
TiktokenSharp
开源
C# 项目轻松算 Token，精准控成本
Token calculation for OpenAI models, using `o200k_base` `cl100k_base` `p50k_base` ···
anemll-flash-llama.cpp
开源
让 Mac 统一内存也能跑动超大 MoE 模型
Flash-MoE sidecar slot-bank runtime for large GGUF MoE models on Apple Silicon — ll···
KsanaDiT
开源
让视频生成模型推理更快，部署更省心
KsanaDiT: High-Performance DiT (Diffusion Transformer) Inference Framework for Video···
skald
开源
把 AI 上下文管起来，让应用更聪明更省钱
Context layer platform in your infrastructure
ezdata
开源
连接 60+ 数据源，AI 自动查询、绘图、分析，让数据开口说话。
AI-native data platform: 60+ connectors, dlt-based ETL, DAG scheduling, per-source R···
unstructured
开源
把 PDF/Word 等复杂文档，一键变成 LLM 能用的干净数据
Convert documents to structured data effortlessly. Unstructured is open-source ETL s···