tiktoken

精准算 token、快速切文本，LLM 应用必备

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 1670 🐛 待处理 149 👀 关注 208

GitHub ↗

GitHub 星标 ★ 19619

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费（MIT许可证）

项目预览

项目数据

分类基础设施

开发团队openai

GitHubhttps://github.com/openai/tiktoken

定价模式🏷️完全免费

价格说明开源免费（MIT许可证）

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

GitHub 星标★ 19619

上线时间2022-12-01 00:00:00

代码更新2026-11-08

仓库体积122 KB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-11-09

浏览次数0

项目介绍

tiktoken 是 OpenAI 开源的快速 BPE 分词器，专门用于其 GPT 系列模型的分词与 token 计数。它解决的核心问题是：在调用大模型前后，开发者需要精确知道一段文本会消耗多少 token、如何切分，以便估算成本、控制上下文长度、做截断与分块。tiktoken 用 Rust 实现核心算法并提供 Python 绑定，速度远快于纯 Python 实现，同时支持按模型名或编码名（如 cl100k_base、o200k_base）加载对应词表，并提供 encode、decode、批量编码等接口。它被广泛用于 ChatGPT 应用、RAG 分块、提示词长度校验、计费预估等场景，是 LLM 应用基础设施中的常用组件。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-09 · 当前星标 ★ 19619

使用教程

难度：入门约 5 分钟部署方式：库/依赖 4 步

环境要求

Python 环境（README 只给出 pip 安装方式）
可用的 pip 包管理工具
能访问 PyPI 的网络环境

安装与启动步骤

1确认 Python 可用

安装前先确认本机已装 Python 且 pip 可用，避免安装时报命令不存在。
```
python --version
pip --version
```
2安装 tiktoken

README 给出的唯一安装方式是从 PyPI 安装，直接执行即可。
```
pip install tiktoken
```

3按编码名编码文本

用 o200k_base 编码名加载词表，encode 切分、decode 还原，验证分词可逆。

python -c "import tiktoken; enc = tiktoken.get_encoding('o200k_base'); assert enc.decode(enc.encode('hello world')) == 'hello world'; print('ok')"

4按模型名加载词表

若已知模型名，用 encoding_for_model 自动匹配该模型对应的分词器。
```
python -c "import tiktoken; enc = tiktoken.encoding_for_model('gpt-4o'); print(enc.encode('hello world'))"
```

关键配置

配置项	必填	说明	示例
`编码名 encoding_name`	是	通过 get_encoding 指定词表，如 o200k_base、cl100k_base	`o200k_base`
`模型名 model_name`	否	通过 encoding_for_model 自动选择该模型对应的分词器	`gpt-4o`