tokenu

像 du 一样快速统计 token 用量,优化 AI 上下文管理

tokenu 是一个类似 Unix du 命令的命令行工具,专门用于统计文件和目录的 token 使用量。它解决了开发者在管理大型代码库或文本集时,难以快速了解各文件或目录在 LLM 上下文中占用 token 比例的问题。核心能力包括递归统计目录下所有文件的 token 数、按文件或目录聚合输出、支持多种 token 计数策略(如字符数或基于分词器),并提供了类似 du 的易用命令行接口。它用 TypeScript 编写,安装简单,适合与 AI 编程工具链集成,帮助用户优化上下文窗口管理。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 66
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队lirantal
所属国家
官网地址
定价模式free
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议Apache-2.0
主要语言TypeScript
技术栈/模型agent-cli,agents,ai-agents,command-line,gpt-3,gpt-tokenizer,large-language-models,llm,nodejs,tokenization,tokenizer
GitHub 星标★ 66
30天Star增速
HF 下载量
上线时间2026-03-09 00:00:00
最近更新2026-09-01 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • 提供类似 du 的直观命令行体验,学习成本低
  • 支持按文件和目录聚合统计,便于定位 token 大户
  • 基于 TypeScript 实现,易于扩展和集成到 Node.js 生态

不足之处

  • 早期项目,功能相对单一,缺少高级过滤和输出格式
  • 文档/社区待观察

适用场景

  • 开发者在调试 LLM 应用时,快速检查 prompt 中哪些文件占用 token 过多
  • 管理大型代码仓库,评估各模块在 RAG 或微调场景下的 token 成本
  • 在 CI 中集成,监控提交对 token 预算的影响

替代项目

tiktoken、llamafile、token-counter

项目介绍

tokenu 是基础设施领域的开源项目,由 lirantal 开发,是 2026 年新上线的项目。

它收录于基础设施分类,该分类目前共有 1,132 个项目,GitHub 星标数为 66。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-01。Apache-2.0 许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:开发者在调试LLM应用时,快速检查prompt中哪些文件占用token过多。同类可对比的替代方案包括 tiktoken、llamafile、token-counter。

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09