
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-04 · 当前星标 ★ 133
核心亮点
- 模型权重直接烧进固件,无需 SD 卡或联网即可对话
- 针对 ESP32-S3 和 Cardputer ADV 做了内存与显示适配,开箱可跑
- 代码开源且语言为 C++,方便嵌入式开发者二次修改和裁剪
不足之处
- 仅 800 万参数且 Q4 量化,回答质量和知识面非常有限
- 推理速度约 5 tok/s,长回答等待感明显
- 依赖特定硬件 Cardputer ADV,通用性差
适用场景
- 断网或隐私敏感环境下做本地文字对话实验
- 嵌入式开发者学习端侧 LLM 部署与量化推理
- 极客把玩掌上设备,演示离线 AI 的可行性
替代项目
llama.cpp、nanoGPT
下一篇:OfflineLLM
同类项目推荐
KeepChatGPT
开源
让 ChatGPT 不掉线、更安全,聊天丝滑又高效
这是一款提高ChatGPT的数据安全能力和效率的插件。并且免费共享大量创新功能,如:自动刷新···
rivescript-js
开源
用简单脚本快速搭建规则对话机器人
A RiveScript interpreter for JavaScript. RiveScript is a scripting language for chat···
typebot.io
开源
拖拽搭建聊天机器人,自托管数据全掌控
Typebot is a powerful chatbot builder that you can self-host.
chat-history
开源
本地浏览和搜索你的 ChatGPT/Claude 聊天记录
ChatGPT and Claude history exploration
OpenInstinct
开源
在 iMessage 里发消息,AI 助理帮你干活还管密码
iMessage personal assistant + password vault
chaty
开源
一行代码接入ChatGPT,快速打造微信聊天机器人
one line code, satisfied all your ChatGPT imagination✨✨✨
chatty
开源
在浏览器里直接跑大模型,私密聊天不泄露
ChattyUI - your private AI chat for running LLMs in the browser
chat_gpt_oicq
开源
在 QQ 里养一只猫娘 AI,随时陪你聊天
ChatGPT qq机器人 谁不想拥有一只可爱的猫娘呢~
chatbot-template
开源
克隆即用的 AI 聊天界面模板,几行配置接上模型就能跑
A minimal chatbot template built with Next.js, AI SDK, shadcn/ui, shadcn/react, shad···