TinyLLM 是对话助手领域的开源项目，由 jasonacox 开发，2023 年首次发布。
它收录于对话助手分类，该分类目前共有 907 个项目，GitHub 星标数为 350。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。MIT许可证，本地部署，完全免费。
它主要面向的使用场景是：个人隐私敏感场景下，本地部署AI助手。同类可对比的替代方案包括 Ollama、LocalAI、GPT4All。
TinyLLM
在普通电脑上，一键跑起本地AI聊天机器人
TinyLLM 是一个面向消费级硬件的本地大语言模型（LLM）与聊天机器人搭建工具。它解决了个人用户在普通电脑上运行大模型时面临的配置复杂、资源占用高、部署门槛高等问题，通过提供简洁的界面和自动化流程，让用户无需深入底层技术即可快速启动本地模型。项目基于 JavaScript，集成了 llama-cpp-python、vLLM 等推理后端，并支持 OpenAI 兼容 API，同时内置了 RAG（检索增强生成）能力，使用户可以基于自己的文档构建知识库问答系统。其核心能力包括：一键式模型下载与部署、多模型切换、本地知识库检索、以及与现有应用的无缝集成。TinyLLM 旨在降低本地 AI 的使用门槛，让普通用户也能在自己的电脑上安全、私密地使用 AI 助手。
开源
free
对话助手
GitHub 星标
★ 350
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类对话助手
开发团队jasonacox
所属国家
定价模式free
价格说明开源项目，MIT许可证，本地部署，完全免费。
访问状态
是否开源是
开源协议MIT
主要语言JavaScript
技术栈/模型artificial-intelligence,chatbot,large-language-models,llama-cpp-python,llm,openai,rag,retrieval-augmented-generation,vllm
GitHub 星标★ 350
30天Star增速
HF 下载量
上线时间2023-09-12 00:00:00
最近更新2026-09-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数8
使用教程
核心亮点
- 针对消费级硬件优化，普通电脑也能流畅运行
- 集成 RAG 能力，可基于本地文档构建知识库问答
- 提供 OpenAI 兼容 API，方便接入现有工具
不足之处
- 项目处于早期阶段，功能完整性和稳定性有待验证
- 文档和社区支持相对薄弱，遇到问题可能难获及时帮助
适用场景
- 个人隐私敏感场景下，本地部署 AI 助手
- 基于私有文档的智能问答系统搭建
- 在无网或弱网环境中使用 AI 聊天功能
替代项目
Ollama、LocalAI、GPT4All
项目介绍
上一篇：SwiftyChat
下一篇：pokitoki
同类项目推荐
open-webui
开源
给本地模型配个漂亮聊天室，全家都能用
User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
prompts.chat
开源
海量好提示词，抄了就能让 AI 更听话
f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the commun···
elia
开源
终端里用键盘快速聊 AI，多模型切换不打断思路
A snappy, keyboard-centric terminal user interface for interacting with large langua···
NextChat
开源
一个界面聊遍所有主流AI模型，支持全平台部署，轻快又私密。
✨ Zero-config AI chat assistant. No API key needed — sign up and instantly chat wi···