在 Go 中轻松切分 token，精准控制 OpenAI 费用
tiktoken-go 是 OpenAI 官方 tiktoken 库的 Go 语言移植版本，用于将文本切分为 token 序列。它解决了在 Go 生态中无法直接调用 OpenAI tokenizer 的问题，使开发者无需依赖 Python 环境即可在 Go 服务中实现 token 计数、文本截断和费用预估。核心能力包括：支持 GPT-3.5-turbo、GPT-4 等主流模型的编码器，提供与官方版本一致的 token 切分结果，并针对 Go 并发场景做了性能优化。项目早期但已具备基本功能，适合需要精确控制 token 用量的 Go 后端服务。
tiktoken（官方 Python 版）、js-tiktoken（JavaScript 版）、go-tiktoken（其他 Go 实现）
tiktoken-go 是基础设施领域的开源项目，由 pkoukk 开发，2023 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（957）位列前 30%，在基础设施分类中处于中上游。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-15。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：Go后端服务中统计请求token消耗以计算费用。同类可对比的替代方案包括 tiktoken（官方 Python 版）、js-tiktoken（JavaScript 版）、go-tiktoken（其他 Go 实现）。
下一篇：corpusos
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
