TinyGPT
用 C++ 从零手写 LLM 推理，轻量无依赖，适合学习和嵌入式部署。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 132
技术标签
核心亮点
- 纯 C++ 实现，无外部依赖，编译部署简单
- 代码量小且结构清晰，是学习 LLM 推理原理的绝佳教材
- 针对资源受限场景设计，内存占用低，适合边缘设备
不足之处
- 功能尚不完整，仅支持基础模型，缺乏量化等优化
- 文档和社区生态待观察，使用门槛较高
适用场景
- 学习 LLM 内部推理机制的教学场景
- 在树莓派等低功耗设备上运行小型模型
- 作为基础框架定制特殊推理逻辑
替代项目
llama.cpp、ggml、whisper.cpp
上一篇：voyageai-python
下一篇：mlx-flash
同类项目推荐
ort
开源
用 Rust 跑 ONNX 模型，推理训练一把梭
Fast ML inference & training for ONNX models in Rust
local-llms-on-android
开源
把大模型装进口袋，离线也能智能对话
Run local LLMs like Gemma, Qwen, and LLaMA on Android for offline, private, real-tim···
moss
开源
不用向量数据库，10毫秒内搞定AI检索
The retrieval layer for production AI systems. Lightning-fast (<10ms) search without···
traccia-py
开源
给 AI Agent 装上黑匣子，追踪、评估、治理一步到位
OpenTelemetry-native SDK for AI agent observability, tracing, evaluation, debugging,···
heron
开源
不碰代码，抓包就能监控 LLM 与智能体性能
Agent and LLM API performance monitoring via network packet probe. Measures performa···
generative-ai-arbitrage
开源
花三成钱，调用同一批顶级视频图像音乐模型
A curated list showing how to access the exact same top-tier generative AI models (v···
MyScaleDB
开源
用SQL同时搞定向量搜索和全文检索，AI应用数据底座一步到位
A @ClickHouse fork that supports high-performance vector search and full-text search···
octelium
开源
一套自托管平台，搞定 VPN、ZTNA、API 网关和内网穿透
A next-gen FOSS self-hosted unified zero trust secure access platform that can opera···
orbit
开源
自建私有 AI 网关，用自然语言安全访问数据与工具
Self-hosted AI gateway for private RAG, natural-language data access, and tool-calli···