tokenspeed

让大模型在现有硬件上跑出光速级 token 生成速度

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 402 🐛 待处理 112 👀 关注 16

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 2893

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队lightseekorg

官网地址https://lightseek.org/blog/lightseek-tokenspeed.html

GitHubhttps://github.com/lightseekorg/tokenspeed

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型b200,b300,blackwell,deepseek,gb200,gb300,glm,gpt-oss,inkling,kimi,lightseek,llm,mi355x,mi455x,minimax,qwen,rubin,speed-of-light,tokenspeed,vlm

GitHub 星标★ 2893

上线时间2026-05-06 00:00:00

代码更新2026-11-09

仓库体积57.6 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数5

项目介绍

TokenSpeed 是一个主打极致推理速度的 LLM 推理引擎，目标是让大模型在现有硬件上跑出“光速”级别的 token 生成速度。它通过优化内存访问、算子融合、KV Cache 管理等底层技术，显著降低推理延迟，提升吞吐量。项目用 Python 编写，但核心计算路径经过深度优化，适合对延迟敏感或需要高并发服务的场景。它解决了通用推理框架在速度上不够极致的问题，尤其适合边缘设备或高吞吐服务端。核心能力包括动态批处理、连续内存池、自定义 CUDA 内核，以及对主流模型的快速适配。整体设计追求简单直接，让开发者能快速集成并获得立竿见影的性能提升。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2893

技术标签

deepseek glm gpt-oss kimi llm

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：高级约 15 分钟部署方式：本地安装 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（项目开发语言为 Python）
NVIDIA Blackwell 系列 GPU（README 提到 Blackwell 上的 MLA 实现）
对应的 CUDA 与 GPU 驱动环境
Linux 运行环境（含 C++ 编译工具链，因调度器含 C++ 控制平面）

安装与启动步骤

1克隆项目仓库

从 GitHub 拉取 TokenSpeed 源码到本地，后续所有操作都在该目录内进行。
```
git clone https://github.com/lightseekorg/tokenspeed.git
```
2进入项目目录

切换到克隆下来的仓库根目录，准备后续环境配置。
```
cd tokenspeed
```
3创建 Python 虚拟环境

README 未给出安装命令，这里先建独立环境避免污染系统 Python；具体依赖安装请以官方仓库说明为准。
```
python -m venv venv
source venv/bin/activate
```
4确认 GPU 与驱动

确认机器具备 Blackwell 架构 GPU 及可用驱动，这是 README 强调的性能路径前提。
```
nvidia-smi
```
5按官方文档安装与启动

README 节选未包含安装依赖和启动推理服务的命令，请查阅仓库内文档与官网博客补齐。