tokenu

像 du 一样快速统计 token 用量,优化 AI 上下文管理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 1
GitHub ↗
GitHub 星标 ★ 67
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。

项目预览

tokenu 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队lirantal
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言TypeScript
技术栈/模型agent-cli,agents,ai-agents,command-line,gpt-3,gpt-tokenizer,large-language-models,llm,nodejs,tokenization,tokenizer
GitHub 星标★ 67
上线时间2026-03-09 00:00:00
代码更新2026-11-09
仓库体积1.4 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数6

项目介绍

tokenu 是一个类似 Unix du 命令的命令行工具,专门用于统计文件和目录的 token 使用量。它解决了开发者在管理大型代码库或文本集时,难以快速了解各文件或目录在 LLM 上下文中占用 token 比例的问题。核心能力包括递归统计目录下所有文件的 token 数、按文件或目录聚合输出、支持多种 token 计数策略(如字符数或基于分词器),并提供了类似 du 的易用命令行接口。它用 TypeScript 编写,安装简单,适合与 AI 编程工具链集成,帮助用户优化上下文窗口管理。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 67

核心亮点

  • 提供类似 du 的直观命令行体验,学习成本低
  • 支持按文件和目录聚合统计,便于定位 token 大户
  • 基于 TypeScript 实现,易于扩展和集成到 Node.js 生态

不足之处

  • 早期项目,功能相对单一,缺少高级过滤和输出格式
  • 文档/社区待观察

适用场景

  • 开发者在调试 LLM 应用时,快速检查 prompt 中哪些文件占用 token 过多
  • 管理大型代码仓库,评估各模块在 RAG 或微调场景下的 token 成本
  • 在 CI 中集成,监控提交对 token 预算的影响

替代项目

tiktoken、llamafile、token-counter

同类项目推荐

WhereMyTokens 开源

Windows 托盘实时盯住 Claude/Codex 令牌消耗与费用

Local-first Windows tray app for monitoring Claude Code and Codex tokens, costs, ses···

★ 88 2026-08-09
M365-Copilot2API 开源

把 M365 Copilot 变成 OpenAI 接口,客户端零改动直接调

Microsoft 365 Copilot → OpenAI / Anthropic 兼容 API 网关。

★ 622 2026-10-23
WorldFoundry 开源

统一跑通世界模型推理与评测,告别碎片化流程。

Unified World Model Inference & Evaluation Infrastructure

★ 322 2026-08-09
mlops-project 开源

一键跑通ML全流程,从训练到部署不再手忙脚乱

An end-to-end machine learning (mlops) project

★ 53 2026-08-09
leanctx 开源

不换代码,一键压缩提示词,立省 40-60% token 费用

Drop-in prompt compression for production LLM apps. Cut your token bill 40-60% witho···

★ 320 2026-08-09
agent-console 开源

看清每轮 AI 编码花了多少 token 和钱

Local-first observability for AI coding agents. Every Claude Code and Codex session'···

★ 803 2026-10-02
homelab-monitor 开源

一个容器搞定 homelab 监控,AI 代理也能直接查

Self-hosted homelab dashboard in one container — GPU, local-AI VRAM, Docker, system···

★ 233 2026-08-09
pgbot 开源

让 AI 直接读懂你的 Postgres,问句话就出数据洞察

Postgres intelligence for ai agents

★ 1488 2026-09-12
awesome-ai-gateway 开源

100+ AI 网关选型指南,成本安全合规一网打尽

⚡ Awesome AI Gateway — pick an AI gateway from 240+ (LiteLLM, OpenRouter, Portkey,···

★ 150 2026-08-09