simple-llm

1300行Python手写LLM推理引擎，读懂并魔改每一步

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 488
维护状态 活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类基础设施
开发团队naklecha
所属国家
官网地址
GitHubhttps://github.com/naklecha/simple-llm
定价模式free
价格说明开源免费，需自行部署
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型
GitHub 星标★ 488
30天Star增速
HF 下载量
上线时间2026-01-08 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-15
浏览次数0

项目介绍

simple-llm 是一个用约 1300 行 Python 从零实现的极简 LLM 推理引擎，目标是让开发者能完整读懂并自由扩展大模型推理的每一步。它不依赖 vLLM、TensorRT-LLM 这类重型框架，而是自己实现模型加载、KV Cache、采样、批处理等核心环节，把推理流程拆成清晰可改的模块。项目解决的是主流推理框架代码量大、抽象层多、难以二次开发的问题，适合想理解推理引擎内部机制、或需要按自己需求魔改调度与缓存策略的人。核心能力包括：纯 Python 可读实现、支持 KV Cache 加速、可插拔的采样策略、面向扩展的模块划分，以及便于对照学习的代码结构。它不是追求生产级吞吐的方案，而是把推理引擎当作教学与原型平台，让研究者和小团队用最小代价验证新想法。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 约1300行纯Python实现，模块边界清晰，适合逐行阅读推理全流程
  • 自带KV Cache与采样策略，能直接跑通基础生成而非仅伪代码
  • 面向扩展设计，便于替换调度、缓存、采样等组件做实验

不足之处

  • 性能与吞吐远不及vLLM等生产级引擎，不适合高并发线上服务
  • 功能覆盖有限，缺少量化、分布式、连续批处理等高级特性

适用场景

  • 学习LLM推理引擎内部原理与KV Cache机制
  • 在课程或论文中快速搭建可修改的推理原型
  • 为特定调度或采样策略做小规模验证实验

替代项目

vLLM、llama.cpp

上一篇：xDiT

下一篇：binary-mlc-llm-libs

同类项目推荐

freebuff-proxy 开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

[DEPRECATED / UNMAINTAINED] No longer maintained.

★ 300 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

A Tiny biped duck robot

★ 9383 2026-09-10
ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 183157 2026-08-09
soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 444 2026-08-10