项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 196
核心亮点
- 代码从零手写，不套用现成推理框架，推理链路完整可读
- 配套 6 小时以上视频教程与 85 页以上手写笔记，学习路径清晰
- C++ 实现贴近底层，便于观察内存布局、算子与计算流程
不足之处
- 项目早期仅 196 星，生态与社区反馈有限
- 作为教学向引擎，性能优化与生产级特性覆盖不足
- 文档与教程以视频和手写笔记为主，检索和查阅效率偏低
适用场景
- 学习大模型推理原理，对照代码理解前向计算流程
- 高校课程或训练营的推理引擎实验与作业项目
- 作为自研小型推理服务的起点，按需裁剪和扩展
替代项目
llama.cpp、ggml、mlc-llm
同类项目推荐
turbo-fieldfare
开源
在 MacBook 上2GB内存跑26B大模型
Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook
stable-diffusion-docker
开源
一键启动全功能AI绘画环境，省去配置烦恼
Docker image for Stable Diffusion WebUI with ControlNet, After Detailer, Dreambooth,···
polyaxon
开源
一站式管理AI实验、训练与部署，让团队协作更高效。
AI Infra / AI Orchestration / AI Control Plane
Free-GPT4-WEB-API
开源
自建免费AI网关，一次接入GPT、Gemini、Claude等模型，无限调用。
Not just GPT4! Easy to use, Self-Hosted, Unlimited and Free WEB API of the latest A.···
mlx-omni-server
开源
在 Mac 上本地跑多模态 AI，OpenAI 接口无缝接入
MLX Omni Server is a local inference server powered by Apple's MLX framework, specif···
phoenix
开源
一键追踪调试你的 AI 应用，让模型问题无所遁形
AI Observability & Evaluation
deepmem
开源
5分钟换掉Mem0，检索快2倍成本省10倍
Drop-in AI memory layer with 2x faster retrieval and 10x lower cost. Fully compatibl···
Friday
开源
给 AI 代理装上企业级控制中枢，安全编排、可控运行
Private control plane for AI agents
busbar
开源
一个 URL 接入所有大模型，故障自动切换，部署极简。
The execution control plane for AI agents. Govern every model request, MCP tool call···