nobodywho

让任何设备都能流畅跑大模型，边缘 AI 推理引擎

开源 🏷️定价信息待确认 ✅ 目前可打开 音频音乐 🍴 复刻 99 🐛 待处理 20 👀 关注 21
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1672
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

nobodywho 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类音频音乐
开发团队nobodywho-ooo
官网地址https://nobodywho.ai
GitHubhttps://github.com/nobodywho-ooo/nobodywho
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议EUPL-1.2
主要语言Rust
技术栈/模型ai,expo,flutter,gguf,godot,godot-engine,godot-plugin,godot4,inference-engine,kotlin,llm,local-llm,on-device-ai,python,python-llm,react-native,slm,stt,swift,tts
GitHub 星标★ 1672
上线时间2024-09-03 00:00:00
代码更新2026-11-06
仓库体积186.0 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数5

项目介绍

NobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎，旨在让任何设备都能高效运行大语言模型。它解决了在资源受限设备（如手机、嵌入式设备）上部署 LLM 的难题，通过优化推理速度和内存占用，使 AI 能力真正落地到边缘端。项目核心能力包括：跨平台支持（通过 Flutter、React Native、Godot 等框架集成）、轻量级 API 设计、以及对多种模型格式的兼容。它特别强调与游戏引擎 Godot 的深度集成，为游戏开发者提供内置 AI 对话能力。目前项目处于成长阶段，社区活跃，但文档和生态尚在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1672

技术标签

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶 约 15 分钟 部署方式：库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

  • Rust 编写的本地推理引擎，需集成到 Kotlin、Swift、Python、Flutter、React Native、Expo 或 Godot 等平台项目中
  • 模型需为 GGUF 格式（如 Gemma、Qwen、Mistral），可从 Hugging Face 或任意 URL 下载
  • 无需 API Key，可完全离线运行
  • 如需 GPU 加速，依赖 Vulkan（Windows/Linux）或 Metal（macOS）

安装与启动步骤

  1. 1确认目标平台

    README 仅列出 Kotlin、Swift、Python、Flutter、React Native、Expo、Godot 七种平台，先确定自己要接入哪一种。

  2. 2查阅对应平台文档

    README 的平台表格给出各平台安装方式入口为官方文档站，按其中的说明添加依赖。

  3. 3准备 GGUF 模型

    从 Hugging Face 的 GGUF 模型库挑选模型，或使用任意可访问的模型 URL，无需转换格式。

  4. 4在项目中加载推理

    按所选用平台的示例代码加载模型并调用推理接口，全程本地执行，不产生 API 费用。

如何确认成功

按所选平台官方文档中的示例集成后运行，能在本地离线得到 LLM 文本回复即表示接入成功。

常见问题

Q：需要申请 API Key 或联网吗？

A：不需要。NobodyWho 是完全本地、离线的推理引擎，README 明确说明无需 API Key，也没有隐藏费用。

Q：支持哪些模型？

A：任何 GGUF 格式的 LLM 均可，例如 Gemma、Qwen、Mistral，也支持从 Hugging Face 或任意 URL 直接下载模型。

Q：可以在哪些语言或框架里使用？

A：README 列出的平台有 Kotlin、Swift、Python、Flutter、React Native、Expo 和 Godot，其中与 Godot 的集成被重点强调。

Q：能处理图像和音频吗？

A：可以。支持多模态输入（图像、音频），语音转文字用 Whisper，文字转语音可用 Kokoro、Pocket TTS、Supertonic 合成 WAV。

Q：对话很长会不会超出上下文？

A：引擎内置对话感知的抢占式上下文切换，可在不受消息长度限制的情况下保留完整对话记忆。

注意事项

  • 本次 README 节选中 Quick Start 章节内容为空，各平台的具体安装命令未给出，务必以官方文档站为准，不要凭猜测执行命令。
  • 项目仍处于成长阶段，文档与生态尚在完善，集成时建议先跑通官方最小示例再扩展。
  • 底层由 llama.cpp 驱动，模型兼容性可直接参考 llama.cpp 的 GGUF 生态。

核心亮点

  • 跨平台支持全面，覆盖移动端、桌面和游戏引擎，集成方式灵活
  • 基于 Rust 实现，内存安全和性能表现优异，适合资源受限设备
  • 与 Godot 深度集成，为游戏开发者提供开箱即用的 AI 能力

不足之处

  • 项目处于早期阶段，API 和功能可能不稳定
  • 文档和社区生态待观察，示例和教程相对较少

适用场景

  • 在手机或平板上离线运行聊天机器人，保护隐私
  • 在游戏内嵌入 AI NPC 对话，提升互动体验
  • 为嵌入式设备提供轻量级 AI 推理，如智能家居

替代项目

llama.cpp、Ollama、MLC-LLM

上一篇：uzu

下一篇：optimum-intel

同类项目推荐

llm-sandbox 开源

给 LLM 一个安全的代码沙箱，跑 AI 生成的代码不翻车

Lightweight and portable LLM sandbox runtime (code interpreter) Python library.

★ 1144 2026-08-09
openai-oauth 开源

用 ChatGPT 账号免费调用 AI 模型，省下 API 费用

Free AI with your ChatGPT account

★ 1437 2026-08-09
vibebin 开源

在自己的服务器上，用容器托管代码并直接运行。

vibebin: code and host inside Incus containers on your own VPS/server.

★ 110 2026-08-09
OSCAR 开源

KV Cache 压到 2-bit，长上下文推理显存大降

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

★ 562 2026-10-17
LLaMA_MPS 开源

在 Mac 上让 LLaMA 跑得更快，用上 GPU 加速推理。

Run LLaMA (and Stanford-Alpaca) inference on Apple Silicon GPUs.

★ 575 2026-08-09
hoop 开源

一个网关统一管住 MCP、LLM、数据库和容器的访问策略

Open-source enforcement at runtime that masks sensitive data and blocks destructive ···

★ 849 2026-09-16
mentedb 开源

给AI智能体装上会思考的记忆引擎，告别上下文丢失

A cognition aware database engine for AI agent memory. Purpose built in Rust with WA···

★ 124 2026-08-09
MLOps 开源

跟着示例，快速上手机器学习运维全流程

MLOps examples

★ 2121 2026-08-09