ESP32s3-LLM-Cluster
7块ESP32-S3串成链，跑起0.4B三值量化大模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 257
核心亮点
- 用1.58-bit三值量化把0.4B模型压进MCU内存，思路具体可复现
- SPI菊花链多节点架构，展示分布式推理在低成本硬件上的可行性
- 提供完整固件与硬件搭建方案，适合嵌入式AI教学与原型验证
不足之处
- 仅支持特定量化格式的小模型，通用性和推理速度有限
- 早期项目，文档与社区生态待观察
适用场景
- 嵌入式AI教学演示：在单片机上直观展示LLM推理
- 量化算法验证：测试三值量化模型在MCU上的精度与性能
- 低成本本地推理原型：边缘设备离线运行小模型
替代项目
llama.cpp、BitNet、TinyML
下一篇：MSLK
同类项目推荐
awesome-mlops
开源
一张清单，快速摸清 MLOps 工具全家桶，选型不抓瞎
:sunglasses: A curated list of awesome MLOps tools
comfyui-api
开源
把 ComfyUI 封装成高并发 API，同步异步都能拿结果
A simple API server to make ComfyUI easy to scale horizontally. Get outputs directly···
MagiCompiler
开源
插上就快，视频生成模型推理训练免费提速
A plug-and-play compiler that delivers free-lunch optimizations for both inference a···
Mooncake
开源
用缓存复用和分离式调度，让大模型服务又快又省
Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonsho···
llmtrace
开源
零代码给 OpenAI API 加安全盾，实时防注入、扫隐私、控成本
Zero-code LLM security & observability proxy. Real-time prompt injection detection, ···
TransformerEngine
开源
让 Transformer 在 NVIDIA GPU 上跑得更快更省显存
A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit ···
llmfit
开源
一条命令，测出你的硬件能跑哪些 AI 模型
Hundreds of models & providers. One command to find what runs on your hardware.
turbo-fieldfare
开源
在 MacBook 上2GB内存跑26B大模型
Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook
split-lang
开源
一句话拆开混合语言，让 NLP 更精准
✨ Split text by languages (e.g. 你喜欢看アニメ吗 -> 你喜欢看 | アニメ | 吗) for NLP···