项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 639
使用教程
环境要求
- 手机或桌面系统
- 足够的存储空间
- 自备模型权重
安装与启动步骤
-
1按平台装
手机走应用商店，桌面版去 releases 下对应系统的安装包。
-
2下模型文件
应用不内置权重，要自己把量化模型放进它指定的目录。
-
3选推理后端
它按设备能力选 CPU、GPU 或 NPU，第一次启动会探测。
-
4试三类生成
聊天、文生图、音视频生成是分开的入口，先各跑一次确认后端可用。
-
5桌面版起接口
桌面版能把本地模型暴露成兼容接口，给别的工具用。
如何确认成功
离线状态下能完成一次对话与一次文生图，且不发起任何外部请求
注意事项
- 权重不随安装包分发，模型要单独下载，这是首次使用最容易卡住的地方。
- 手机上跑大模型受内存与散热限制，选小参数量化版本。
- 桌面版还能起兼容接口，等于把本机变成一个本地模型服务。
- 完全本地是它的卖点，但联网下载模型那一步仍是外部依赖。
核心亮点
- 集成多种 LLM 和 Stable Diffusion，多模态能力齐全
- 纯 C++ 实现，性能高，适合嵌入式或桌面部署
- 支持 RAG，可本地构建知识库问答
不足之处
- 早期项目，文档和社区生态尚不完善
- 功能模块较多，集成复杂度较高
适用场景
- 隐私敏感场景下的本地 AI 助手
- 离线环境下的图像生成与问答
- 开发者构建跨平台 AI 桌面应用
替代项目
Ollama、LocalAI、llama.cpp
下一篇：restai
同类项目推荐
fox-in-the-box
开源
一键安装 Hermes，快速自托管 AI 助手
Fox in the Box: One-click Hermes Install — self-hosted AI assistant platform
claude-code-local
开源
在 Mac 上离线跑 Claude Code，代码不出本机
Hit your Claude Code usage limit? Keep going free and offline on a local model: Qwen···
gibram
开源
内存知识图谱，让 RAG 检索更懂关系
GibRAM is an in-memory knowledge graph server designed for retrieval augmented gener···
gemma4.java
开源
纯 Java 跑 Gemma 4，不装 Python 也能本地推理
Fast Gemma 4 inference in pure Java
dama
开源
一键容器化部署，快速跑通机器学习自动化流程
a simplified machine learning container platform that helps teams get started with a···
Star-Attention
开源
长序列推理提速，让大模型轻松处理超长文本。
Efficient LLM Inference over Long Sequences
olleh
开源
用 Ollama 的姿势，跑 Apple 的模型
An Ollama-compatible CLI for Apple's Foundation Models
agentsecrets
开源
让 AI 代理安全使用凭证，无需泄露秘密
Zero-knowledge credentials infrastructure built for AI agents to operate, not just c···
NeumAI
开源
一键搭建大规模向量数据管道，让 RAG 应用数据实时同步
Neum AI is a best-in-class framework to manage the creation and synchronization of v···