gpt-tokenizer

纯 JS 实现 GPT 分词，前端也能算 token

开源 🏷️完全免费 ⏳ 访问状态待核验 基础设施 🍴 复刻 65 🐛 待处理 3 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 857
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，MIT许可证

项目数据

分类基础设施
开发团队niieani
官网地址https://gpt-tokenizer.dev
GitHubhttps://github.com/niieani/gpt-tokenizer
定价模式🏷️完全免费
价格说明开源免费，MIT许可证
访问状态⏳ 访问状态待核验
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型bpe,decoder,encoder,gpt-2,gpt-3,gpt-4,gpt-4o,gpt-5,gpt-o1,machine-learning,openai,tokenizer
GitHub 星标★ 857
上线时间2023-03-22 00:00:00
代码更新2026-10-18
仓库体积18.3 MB
本站数据更新2026-10-31
维护状态较活跃
收录时间2026-10-31
浏览次数0

项目介绍

gpt-tokenizer 是 OpenAI tiktoken 的 TypeScript 移植实现，为 GPT 系列模型提供纯 JavaScript 的 BPE 分词编解码能力。它解决在浏览器、Node.js、Deno、Bun 等 JS 运行时中无法直接使用 Python 版 tiktoken 的问题，让前端或全栈项目无需额外服务即可在本地完成 token 计数与文本切分。核心能力包括：支持 gpt-5、gpt-o 系列、gpt-4o、gpt-4、gpt-3.5 等模型的编码表；提供 encode、decode 以及按 token 切分的接口；纯 JS 实现无原生依赖，便于打包进前端产物；在同类 JS 实现中主打速度，并额外提供 tiktoken 原版没有的便捷功能。适合需要预估 API 成本、控制上下文长度、做流式输出分块或前端 token 可视化的开发者使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 857

技术标签

核心亮点

  • 纯 TypeScript 实现，无原生二进制依赖，可直接打包进浏览器与边缘运行时
  • 覆盖 gpt-5、gpt-o 系列、gpt-4o 等较新模型的编码表，更新跟进及时
  • API 简洁，提供 encode/decode 与按 token 切分等便捷方法，上手成本低

不足之处

  • 模型编码表随 OpenAI 更新需持续维护，存在滞后风险
  • 仅覆盖 OpenAI 系模型，不支持其他厂商分词方案

适用场景

  • 前端聊天应用实时预估 token 数与 API 成本
  • 调用 GPT API 前裁剪或校验上下文长度，避免超限报错
  • 流式输出时按 token 边界切分文本，做打字机效果

替代项目

tiktoken、js-tiktoken、@dqbd/tiktoken

上一篇：Meterless

下一篇：gpt2giga

同类项目推荐

xDiT 开源

多卡并行加速 DiT 出图，单卡跑不动的高分辨率也能秒级生成

xDiT: A Scalable Inference Engine for Diffusion Transformers (DiTs) with Massive Par···

★ 2746 2026-10-15
crane 开源

可视化桌面工具，让容器镜像管理像点鼠标一样简单

Crane is a easy-to-use and beautiful desktop application helps you build manage your···

★ 295 2026-08-09
strix-halo-guide 开源

AMD Strix Halo 跑本地大模型，先看这份实测指南再动手

Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama···

★ 367 2026-10-16
openai 开源

兼容 OpenAI 调用方式，请求时自动完成链上按次付费

Drop-in OpenAI Typescript client with transparent x402 payment support.

★ 154 2026-10-26
yantr 开源

自托管 AI 应用商店，一站式安装管理你的 AI 工具

A self-hosted homelab app store for rootless Podman — runs alongside your OS, not i···

★ 198 2026-08-09
C-SSH 开源

跨平台 SSH 运维，持久会话+AI 助手，免费开源

C-SSH 0.9.7 · Windows / macOS / Linux / Android · SSH, RDP, concurrent AI, server ···

★ 187 2026-08-09
mlplatform-workshop 开源

用示例代码快速搭建机器学习平台骨架

Example code for a basic ML Platform based on Pulumi, FastAPI, DVC, MLFlow and more

★ 444 2026-08-09
ggml 开源

轻量级 C++ 张量库，让大模型在本地设备流畅跑起来

Tensor library for machine learning

★ 15557 2026-08-09
gemma4.java 开源

纯 Java 跑 Gemma 4，不装 Python 也能本地推理

Fast Gemma 4 inference in pure Java

★ 69 2026-08-09