NanoLLM 是基础设施领域的开源项目，由 dusty-nv 开发，2024 年首次发布。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 382。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-07。MIT许可证，本地部署，完全免费。
它主要面向的使用场景是：在本地或边缘设备部署量化LLM用于聊天或问答。同类可对比的替代方案包括 llama.cpp、Ollama、vLLM。
GitHub 星标
★ 382
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类搜索知识
开发团队dusty-nv
所属国家
定价模式free
价格说明开源项目，MIT许可证，本地部署，完全免费。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型edge-ai,llm-inference,multimodal,rag,speech,vector-database,vision-transformer
GitHub 星标★ 382
30天Star增速
HF 下载量
上线时间2024-03-31 00:00:00
最近更新2026-09-07 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 统一 API 封装，兼容 HuggingFace 生态，上手快
- 内置量化支持，降低本地推理显存占用
- 集成语音、向量库和 RAG，多模态场景开箱即用
不足之处
- 文档/社区待观察
- 早期项目，API 可能变动，稳定性待验证
适用场景
- 在本地或边缘设备部署量化 LLM 用于聊天或问答
- 构建多模态智能体，结合视觉和语音输入
- 利用 RAG 和向量数据库打造私有知识库问答系统
替代项目
llama.cpp、Ollama、vLLM
项目介绍
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
[DEPRECATED / UNMAINTAINED] Multi-account gateway. No longer maintained; fork it and···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···