TinyLLM

在普通电脑上，一键跑起本地AI聊天机器人

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 对话助手 🍴 复刻 43 🐛 待处理 16 👀 关注 10
GitHub ↗
GitHub 星标 ★ 354
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，本地部署，完全免费。

项目预览

TinyLLM 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队jasonacox
GitHubhttps://github.com/jasonacox/TinyLLM
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，本地部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言JavaScript
技术栈/模型artificial-intelligence,chatbot,large-language-models,llama-cpp-python,llm,openai,rag,retrieval-augmented-generation,vllm
GitHub 星标★ 354
上线时间2023-09-12 00:00:00
代码更新2026-10-25
仓库体积697 KB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数8

项目介绍

TinyLLM 是一个面向消费级硬件的本地大语言模型（LLM）与聊天机器人搭建工具。它解决了个人用户在普通电脑上运行大模型时面临的配置复杂、资源占用高、部署门槛高等问题，通过提供简洁的界面和自动化流程，让用户无需深入底层技术即可快速启动本地模型。项目基于 JavaScript，集成了 llama-cpp-python、vLLM 等推理后端，并支持 OpenAI 兼容 API，同时内置了 RAG（检索增强生成）能力，使用户可以基于自己的文档构建知识库问答系统。其核心能力包括：一键式模型下载与部署、多模型切换、本地知识库检索、以及与现有应用的无缝集成。TinyLLM 旨在降低本地 AI 的使用门槛，让普通用户也能在自己的电脑上安全、私密地使用 AI 助手。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 354

核心亮点

  • 针对消费级硬件优化，普通电脑也能流畅运行
  • 集成 RAG 能力，可基于本地文档构建知识库问答
  • 提供 OpenAI 兼容 API，方便接入现有工具

不足之处

  • 项目处于早期阶段，功能完整性和稳定性有待验证
  • 文档和社区支持相对薄弱，遇到问题可能难获及时帮助

适用场景

  • 个人隐私敏感场景下，本地部署 AI 助手
  • 基于私有文档的智能问答系统搭建
  • 在无网或弱网环境中使用 AI 聊天功能

替代项目

Ollama、LocalAI、GPT4All

上一篇：SwiftyChat

下一篇：pokitoki

同类项目推荐

AI.Labs 开源

让 C# 应用轻松拥有语音对话和文档处理能力

openai chatgpt or local llm(llama.cpp gguf format)+TTS+STT+Word+Excel

★ 101 2026-08-09
alan-sdk-pcf 开源

在Power Apps里拖拽一个组件，秒变智能对话应用。

The Self-Coding System for Your App — Alan AI SDK for Power Apps

★ 424 2026-08-09
chatgpt-web 开源

快速搭一个多用户可用的 ChatGPT 网页版

Multi-user h5 version, 3rd party ChatGPT web page. Uses OpenAPI official web API.

★ 129 2026-08-09
build-a-bot-with-zero-coding 开源

用表格零代码搭一个 Viber 问卷机器人，免服务器

An example of using Google Sheets to create a Viber survey chat bot without a backen···

★ 487 2026-08-09
DAMO-ConvAI 开源

达摩院对话AI代码库，直接复现工业级对话模型

DAMO-ConvAI: The official repository which contains the codebase for Alibaba DAMO Co···

★ 1623 2026-09-25
Smart_Group_Bot 开源

给 Telegram 群配个会聊天、能管群的 AI 管理员

基于 LLM 的 Telegram 群聊智能管理机器人 — 智能决策、知识库 RAG、内容审查、贴纸学习、···

★ 115 2026-11-08
hackerbot 开源

和黑客 AI 聊天，快速获取技术解答

Chat with hacker assistant

★ 198 2026-08-09
GPTMessage 开源

用 SwiftUI 快速搭建 ChatGPT 图像生成与理解应用

A SwiftUI app demonstrating how ChatGPT interacts with DALL·E and HuggingFace model···

★ 54 2026-08-09
Sapphire 开源

离线运行，不依赖谷歌，打造你的专属安卓语音助手

A free and open source replacement for Google Assistant on Android devices, meant to···

★ 195 2026-08-09