项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 319
核心亮点
- 采用 X-Bit 量化技术，显著降低模型内存占用和计算需求
- 支持 Gemma、Llama 等主流模型，兼容性较好
- 提供简洁的 Python API，易于集成到端侧应用
不足之处
- 项目处于早期阶段，文档和社区支持尚待完善
- 量化精度可能影响模型输出质量，需权衡
适用场景
- 在手机或平板上运行本地聊天助手
- 嵌入式设备（如树莓派）上的离线智能问答
- 隐私敏感场景下的本地模型推理
替代项目
llama.cpp、MLC LLM、ONNX Runtime
下一篇：ai-gateway
同类项目推荐
kvcached
开源
让 GPU 显存像云硬盘一样弹性共享，多模型推理不再浪费缓存。
Virtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond
BharatMLStack
开源
一套打通训练到推理的 ML 基础设施，让大规模模型上线更稳更快。
BharatMLStack is an open-source, end-to-end machine learning infrastructure stack bu···
stable-diffusion-nodejs
开源
在 Node.js 里直接跑 Stable Diffusion，GPU 加速出图
GPU-accelerated javascript runtime for StableDiffusion. Uses modified ONNX runtime t···
ESP32s3-LLM-Cluster
开源
7块ESP32-S3串成链，跑起0.4B三值量化大模型
7-node ESP32-S3 cluster running a 0.4B LLM via 1.58-bit (BitNet) ternary quantizatio···
tokentelemetry
开源
本地追踪 AI 智能体令牌消耗，成本一目了然
Token telemetry dashboard for AI autonomous and coding agents — tracks tokens, sess···
smfs
开源
让 AI 像 grep 一样，秒搜所有文件内容
A filesystem designed for agents, with SOTA retrieval, automatic memory profiles, sy···
cactus
开源
让手机和机器人秒级跑起 AI 模型，省电又流畅
Sub-50mb agentic, voice and vision intelligence for consumer devices.
awesome-ai-api-proxy
开源
一张清单，搞定所有AI模型中转站选型
One key. Every model. Anywhere. — A curated map of AI API relay stations & LLM gate···
Ollamac
开源
Mac 上玩本地大模型，告别命令行，点开即聊。
Mac app for Ollama