cardputer-ai

掌上卡片机离线跑大模型，开机就能聊

cardputer-ai 是一个把完整离线大模型塞进 M5Stack Cardputer ADV 掌上设备的开源项目。它基于 ESP32-S3 芯片，运行一个约 800 万参数的小型语言模型，权重经过 Q4 量化后直接烧录进固件，因此开机即可对话，无需联网、无需外接服务器或手机。项目用 C++ 编写，推理速度约每秒 5 个 token，属于能跑起来但节奏偏慢的级别。它解决的核心问题是：在极低算力、极小内存的嵌入式设备上实现完全本地的文本生成，让 AI 对话摆脱云端依赖，适合隐私敏感或断网环境。核心能力包括本地推理、固件内置模型、按键交互对话，以及为 Cardputer ADV 硬件定制的内存与显示适配。整体更像一个技术演示和可玩性项目，展示端侧 LLM 的极限边界。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 108

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类对话助手

开发团队therezor

所属国家

官网地址

GitHubhttps://github.com/therezor/cardputer-ai

定价模式free

价格说明开源免费，需自行部署到ESP32-S3设备

访问状态

是否开源是

开源协议NOASSERTION

主要语言C++

技术栈/模型ai,ai-chat,cardputer,cardputer-adv,local-ai,local-llm

GitHub 星标★ 108

30天Star增速

HF 下载量

上线时间2026-06-12 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-04

浏览次数0

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

模型权重直接烧进固件，无需 SD 卡或联网即可对话
针对 ESP32-S3 和 Cardputer ADV 做了内存与显示适配，开箱可跑
代码开源且语言为 C++，方便嵌入式开发者二次修改和裁剪

不足之处

仅 800 万参数且 Q4 量化，回答质量和知识面非常有限
推理速度约 5 tok/s，长回答等待感明显
依赖特定硬件 Cardputer ADV，通用性差

适用场景

断网或隐私敏感环境下做本地文字对话实验
嵌入式开发者学习端侧 LLM 部署与量化推理
极客把玩掌上设备，演示离线 AI 的可行性

替代项目

llama.cpp、nanoGPT

项目介绍

cardputer-ai 是对话助手领域的开源项目，由 therezor 开发，是 2026 年新上线的项目。

它收录于对话助手分类，该分类目前共有 917 个项目，GitHub 星标数为 108。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-25。开源免费，需自行部署到ESP32-S3设备。

它主要面向的使用场景是：断网或隐私敏感环境下做本地文字对话实验。同类可对比的替代方案包括 llama.cpp、nanoGPT。

上一篇：sveltekit-ai-chatbot

下一篇：没有了！