llms

配好密钥就能跑的 LLM 聊天前后端一体工具

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 32 🐛 待处理 2 👀 关注 4
GitHub ↗
GitHub 星标 ★ 629
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，无在线服务，需自行部署

项目预览

llms 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队ServiceStack
GitHubhttps://github.com/ServiceStack/llms
定价模式🏷️完全免费
价格说明开源免费，无在线服务，需自行部署
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言JavaScript
GitHub 星标★ 629
上线时间2025-09-23 00:00:00
代码更新2026-10-25
仓库体积15.7 MB
本站数据更新2026-11-03
维护状态较活跃
收录时间2026-09-16
浏览次数1

项目介绍

llms 是一个用 JavaScript 实现的 LLM 客户端、服务端 API 与 UI 一体化工具。它把调用大模型所需的常见环节打包在一起：前端提供可直接使用的对话界面，后端暴露统一的 API 接口，客户端负责与各家模型服务通信。项目目标是让开发者不必从零搭建聊天应用，只需配置模型密钥即可获得可运行的对话产品，同时方便把 LLM 能力接入已有系统。核心能力包括多模型接入、请求转发与统一封装、会话界面展示，以及可作为 API 网关供其他应用调用。适合想快速验证 LLM 应用、搭建内部助手或做原型演示的团队，降低从模型到可用产品之间的工程成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 629

使用教程

难度：进阶 约 30 分钟 部署方式：本地安装 5 步

环境要求

  • 任一操作系统
  • 模型服务凭据

安装与启动步骤

  1. 1装命令行

    它自带 CLI，装完能直接起本地服务。

  2. 2起服务

    默认把界面与接口一起拉起来，浏览器打开即用。

  3. 3填模型密钥

    密钥与对话都存在浏览器本地，不上服务端。

  4. 4接 MCP 工具

    它内置远程工具客户端，可按用户维度授权与审批。

  5. 5需要时开分享

    分享是独立开关，默认关闭，别在公开环境直接打开。

如何确认成功

换一台设备打开同一服务时看不到此前的对话，说明数据确实只留在本地浏览器

注意事项

  • 名字叫 llms，但仓库主线是 llms.py 这套客户端加服务端实现，别和模型本身混淆。
  • 数据全在浏览器存储，换设备或清缓存就没了，重要对话要自己导出。
  • 仓库 README 很短，配置细节基本都在配套站点与源码里。
  • 分享开关一旦打开等于对外暴露会话，权限要收紧。

核心亮点

  • 前后端与 UI 一体，省去分别搭建客户端、API 和界面的工作量
  • JavaScript 技术栈，前端与 Node 开发者上手成本低
  • 提供统一 API 层，便于把模型能力接入已有系统或做网关

不足之处

  • 星标仅 628，属于早期项目，生态与文档成熟度有限
  • 功能相对基础，复杂编排、权限与生产级运维能力待观察

适用场景

  • 快速搭建内部 LLM 聊天助手原型
  • 作为统一 API 网关转发多家模型请求
  • 给已有 Web 应用嵌入对话界面

替代项目

LibreChat、Open WebUI

上一篇：KsanaLLM

下一篇：vLLM-metax

同类项目推荐

FlexLLMGen 开源

单卡跑大模型，吞吐量翻倍，省钱又高效

Running large language models on a single GPU for throughput-oriented scenarios.

★ 9343 2026-08-09
hordelib 开源

把 ComfyUI 封装成简单接口，让 AI Horde 轻松调用生成图像。

A wrapper around ComfyUI to allow use by the AI Horde.

★ 73 2026-08-09
safe-openclaw 开源

给 AI 代理加上安全锁，防止未授权访问和数据泄露

Security-hardened openclaw with auth gateway, AES-256 encryption and session managem···

★ 55 2026-08-09
persistent-ai-memory 开源

给AI装上本地长期记忆，让对话不再失忆

A persistent local memory for AI, LLMs, or Copilot in VS Code.

★ 236 2026-08-09
aitune 开源

自动调优 NVIDIA GPU 推理配置，省去手工调参

NVIDIA AITune is an inference toolkit designed for tuning and deploying Deep Learnin···

★ 289 2026-10-08
thunderid 开源

为人类和 AI 智能体打造可组合的高性能身份认证与授权栈

ThunderID, an LF Decentralized Trust project, is a high-performance, open-source ide···

★ 599 2026-08-09
aimirror 开源

AI 模型下载提速 200 倍，告别漫长等待

200倍速！AI时代的下载神器 | Docker/PyPI/HuggingFace/CRAN 全加速 | 并行分片+智能缓存，···

★ 218 2026-08-09
hyperspace-db 开源

1-bit 量化省内存，原生支持双曲层级向量检索

[H] HyperspaceDB is a high-performance, vector database. It features 1-bit quantizat···

★ 163 2026-10-31
SLA 开源

让视频生成模型推理更快，画质不掉线

SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse–Linear Atten···

★ 552 2026-08-09