项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-18 · 当前星标 ★ 951
核心亮点
- 纯 C 实现,依赖少,便于交叉编译到嵌入式与低端硬件
- 聚焦量化算法优化,显著降低模型权重与运行时内存占用
- 面向多模型适配,不绑定单一模型格式,便于横向对比部署
不足之处
- 早期项目,文档与示例覆盖有限,上手需要一定 C 与推理底层经验
- 生态与算子覆盖尚不及成熟推理框架,复杂模型支持待完善
适用场景
- 在内存受限的 IoT 或嵌入式设备上做本地文本生成验证
- 为离线终端设备集成轻量 LLM 推理能力
- 研究不同量化方案在小设备上的精度与速度权衡
替代项目
llama.cpp、ggml、mlc-llm
上一篇:3FS
同类项目推荐
onnxruntime-inference-examples
开源
官方示例照着跑,模型推理快速落地
Examples for using ONNX Runtime for machine learning inferencing.
llm-d-kv-cache
开源
把大模型KV缓存拆到多机,省显存提吞吐
Distributed KV cache scheduling & offloading libraries
sonar
开源
多硬件加速的 LLM 推理引擎,让大模型跑得更快更省
Large-scale LLM inference engine
LARS
开源
本地跑大模型,读你的文档,回答带引用
An application for running LLMs locally on your device, with your documents, facilit···
openclaw-dashboard
开源
一条命令起面板,看清每个 AI 智能体花了多少钱
A beautiful, zero-dependency command center for OpenClaw AI agents
sample-genai-on-eks-starter-kit
开源
在 EKS 上快速搭建生产级 GenAI 基础设施,省心省力
A comprehensive toolkit for deploying production-ready Generative AI infrastructure ···
polyaxon
开源
一站式管理AI实验、训练与部署,让团队协作更高效。
AI Infra / AI Orchestration / AI Control Plane
tinylm
开源
在浏览器里直接跑大模型,离线也能用,接口兼容 OpenAI。
Browser based ML Inference | OpenAI compliant | Run models like DeepSeek, Llama 3.2,···
biniou
开源
一个界面搞定 30+ 生成式 AI,本地部署即开即用
a self-hosted webui for 30+ generative ai
