esp32-ai

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• ESP32-S3 开发板（512KB SRAM、8MB PSRAM、16MB flash）
• 一块接到芯片上的小屏幕，用于显示生成文本
• 4-bit 量化模型文件，约 14.9MB（28.9M 参数，其中约 25M 存在 flash 查表）
• 用于编译和烧录固件的开发主机（项目语言为 Python）

安装与启动步骤

1. 1确认硬件配置

   必须是 ESP32-S3，且具备 512KB SRAM、8MB PSRAM、16MB flash；普通 ESP32 无法满足。

2. 2准备量化模型

   模型共 28.9M 参数，4-bit 量化后为 14.9MB，其中约 25M 参数放在 flash 查表中。

3. 3连接显示屏幕

   按硬件接线把小块屏幕接到芯片上，用于显示模型生成的文本。

4. 4编译并烧录固件

   README 节选未给出具体命令，请以仓库中 Run it yourself 章节的当前说明为准。

5. 5上电离线推理

   设备不需要任何网络连接，上电后即在芯片本地生成文本并输出到屏幕。

如何确认成功

屏幕上出现生成的文本，端到端约 9.88 tokens/s，且设备全程未联网。

常见问题

注意事项

• README 节选只给出了硬件与模型参数，没有安装、编译、烧录命令，本教程步骤为通用准备动作，具体命令请以仓库 Run it yourself 章节为准。
• 内存是核心瓶颈：模型大部分存放在 flash 而非 RAM，因此 flash 容量必须足够。
• 除语言模型外，同一芯片还可运行果蝇连接组（48311 个神经元、946 万条连接）的移植示例。