cardputer-ai

掌上卡片机离线跑大模型,开机就能聊

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 15 👀 关注 3
GitHub ↗
GitHub 星标 ★ 133
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署到ESP32-S3设备

项目预览

cardputer-ai 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队therezor
定价模式🏷️完全免费
价格说明开源免费,需自行部署到ESP32-S3设备
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言C++
技术栈/模型ai,ai-chat,cardputer,cardputer-adv,local-ai,local-llm
GitHub 星标★ 133
上线时间2026-06-12 00:00:00
代码更新2026-09-25
仓库体积280.9 MB
本站数据更新2026-11-18
维护状态维护中
收录时间2026-10-04
浏览次数4

项目介绍

cardputer-ai 是一个把完整离线大模型塞进 M5Stack Cardputer ADV 掌上设备的开源项目。它基于 ESP32-S3 芯片,运行一个约 800 万参数的小型语言模型,权重经过 Q4 量化后直接烧录进固件,因此开机即可对话,无需联网、无需外接服务器或手机。项目用 C++ 编写,推理速度约每秒 5 个 token,属于能跑起来但节奏偏慢的级别。它解决的核心问题是:在极低算力、极小内存的嵌入式设备上实现完全本地的文本生成,让 AI 对话摆脱云端依赖,适合隐私敏感或断网环境。核心能力包括本地推理、固件内置模型、按键交互对话,以及为 Cardputer ADV 硬件定制的内存与显示适配。整体更像一个技术演示和可玩性项目,展示端侧 LLM 的极限边界。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 133

技术标签

核心亮点

  • 模型权重直接烧进固件,无需 SD 卡或联网即可对话
  • 针对 ESP32-S3 和 Cardputer ADV 做了内存与显示适配,开箱可跑
  • 代码开源且语言为 C++,方便嵌入式开发者二次修改和裁剪

不足之处

  • 仅 800 万参数且 Q4 量化,回答质量和知识面非常有限
  • 推理速度约 5 tok/s,长回答等待感明显
  • 依赖特定硬件 Cardputer ADV,通用性差

适用场景

  • 断网或隐私敏感环境下做本地文字对话实验
  • 嵌入式开发者学习端侧 LLM 部署与量化推理
  • 极客把玩掌上设备,演示离线 AI 的可行性

替代项目

llama.cpp、nanoGPT

上一篇:sveltekit-ai-chatbot

下一篇:OfflineLLM

同类项目推荐

KeepChatGPT 开源

让 ChatGPT 不掉线、更安全,聊天丝滑又高效

这是一款提高ChatGPT的数据安全能力和效率的插件。并且免费共享大量创新功能,如:自动刷新···

★ 14893 2026-08-09
rivescript-js 开源

用简单脚本快速搭建规则对话机器人

A RiveScript interpreter for JavaScript. RiveScript is a scripting language for chat···

★ 383 2026-08-09
typebot.io 开源

拖拽搭建聊天机器人,自托管数据全掌控

Typebot is a powerful chatbot builder that you can self-host.

★ 10638 2026-08-09
chat-history 开源

本地浏览和搜索你的 ChatGPT/Claude 聊天记录

ChatGPT and Claude history exploration

★ 72 2026-08-09
OpenInstinct 开源

在 iMessage 里发消息,AI 助理帮你干活还管密码

iMessage personal assistant + password vault

★ 494 2026-09-30
chaty 开源

一行代码接入ChatGPT,快速打造微信聊天机器人

one line code, satisfied all your ChatGPT imagination✨✨✨

★ 442 2026-08-09
chatty 开源

在浏览器里直接跑大模型,私密聊天不泄露

ChattyUI - your private AI chat for running LLMs in the browser

★ 843 2026-08-09
chat_gpt_oicq 开源

在 QQ 里养一只猫娘 AI,随时陪你聊天

ChatGPT qq机器人 谁不想拥有一只可爱的猫娘呢~

★ 278 2026-08-09
chatbot-template 开源

克隆即用的 AI 聊天界面模板,几行配置接上模型就能跑

A minimal chatbot template built with Next.js, AI SDK, shadcn/ui, shadcn/react, shad···

★ 1208 2026-09-14