让任何设备都能流畅跑大模型，边缘 AI 推理引擎
NobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎，旨在让任何设备都能高效运行大语言模型。它解决了在资源受限设备（如手机、嵌入式设备）上部署 LLM 的难题，通过优化推理速度和内存占用，使 AI 能力真正落地到边缘端。项目核心能力包括：跨平台支持（通过 Flutter、React Native、Godot 等框架集成）、轻量级 API 设计、以及对多种模型格式的兼容。它特别强调与游戏引擎 Godot 的深度集成，为游戏开发者提供内置 AI 对话能力。目前项目处于成长阶段，社区活跃，但文档和生态尚在完善中。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1确认目标平台
README 仅列出 Kotlin、Swift、Python、Flutter、React Native、Expo、Godot 七种平台，先确定自己要接入哪一种。
2查阅对应平台文档
README 的平台表格给出各平台安装方式入口为官方文档站，按其中的说明添加依赖。
3准备 GGUF 模型
从 Hugging Face 的 GGUF 模型库挑选模型，或使用任意可访问的模型 URL，无需转换格式。
4在项目中加载推理
按所选用平台的示例代码加载模型并调用推理接口，全程本地执行，不产生 API 费用。
按所选平台官方文档中的示例集成后运行，能在本地离线得到 LLM 文本回复即表示接入成功。
Q：需要申请 API Key 或联网吗？
A：不需要。NobodyWho 是完全本地、离线的推理引擎，README 明确说明无需 API Key，也没有隐藏费用。
Q：支持哪些模型？
A：任何 GGUF 格式的 LLM 均可，例如 Gemma、Qwen、Mistral，也支持从 Hugging Face 或任意 URL 直接下载模型。
Q：可以在哪些语言或框架里使用？
A：README 列出的平台有 Kotlin、Swift、Python、Flutter、React Native、Expo 和 Godot，其中与 Godot 的集成被重点强调。
Q：能处理图像和音频吗？
A：可以。支持多模态输入（图像、音频），语音转文字用 Whisper，文字转语音可用 Kokoro、Pocket TTS、Supertonic 合成 WAV。
Q：对话很长会不会超出上下文？
A：引擎内置对话感知的抢占式上下文切换，可在不受消息长度限制的情况下保留完整对话记忆。
llama.cpp、Ollama、MLC-LLM
nobodywho 是基础设施领域的开源项目，由 nobodywho-ooo 开发，2024 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（1,289）位列前 30%，在基础设施分类中处于中上游。
近 45 天，它的 GitHub 星标从 1,044 增加到 1,289，净增 245。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。从国内网络环境看，可直接访问。
它主要面向的使用场景是：在手机或平板上离线运行聊天机器人，保护隐私。同类可对比的替代方案包括 llama.cpp、Ollama、MLC-LLM。
上一篇：uzu
下一篇：optimum-intel
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
