TokenFormer

把参数变成 token，让 Transformer 按需扩展，省钱又灵活

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 42 🐛 待处理 11 👀 关注 11
GitHub ↗
GitHub 星标 ★ 597
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，完全免费，可自行部署使用。

项目预览

TokenFormer 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队Haiyang-W
GitHubhttps://github.com/Haiyang-W/TokenFormer
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型architecture,attention-mechanism,foundation-models,llm,scaling-methods,transformer
GitHub 星标★ 597
上线时间2024-10-29 00:00:00
代码更新2025-02-11
仓库体积34.5 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

TokenFormer 是一个在 ICLR 2025 上获得 Spotlight 的 Transformer 架构改进方案，核心思想是将模型参数也视为 token，从而在推理时动态生成或调整部分权重，打破传统 Transformer 参数规模固定、扩展成本高的瓶颈。它解决的是大模型参数高效扩展与个性化适配的问题，让模型在保持性能的同时，能以更低的计算和存储代价进行缩放或微调。核心能力包括：参数 token 化机制、可插拔的注意力层设计，以及支持渐进式模型增长。该项目提供了官方实现，基于 Python 和主流深度学习框架，代码结构清晰，适合研究者复现实验或在此基础上进行二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 597

使用教程

难度：高级 约 120 分钟 部署方式：本地GPU 5 步

环境要求

  • GPU 24G 显存以上
  • Python 3.8
  • 大规模语料

安装与启动步骤

  1. 1建环境

    指定解释器版本，框架版本也锁得很死。

    conda create -n TokenFormer python=3.8

  2. 2装基础依赖

    注意力加速与日志工具都是可选项，先装基础那套。

    pip install -r requirements/requirements.txt

  3. 3准备分词器与数据

    要按它的格式先处理语料。

    python prepare_data.py -d ./data -t HFTokenizer --vocab-file tokenizer.json openwebtext2

  4. 4跑评测

    用它给的配置在几个基准上评一遍。

    python ./deepy.py eval.py -d configs tokenformer/150M_eval.yml --eval_tasks lambada_openai hellaswag piqa

  5. 5看核心改动

    参数被当成 token 处理，这是它区别于常规架构的地方。

如何确认成功

能在小配置上训出可用模型，并说清参数当 token 处理后对扩展性的具体影响

注意事项

  • 这是论文实现，复现成本高。
  • 依赖里有需要编译的加速库，对编译器版本有要求。
  • 完整训练要大规模语料与算力，个人基本只能做小配置验证。
  • 它的思路是让模型规模可以增量扩，不是一次训到最大。

核心亮点

  • 创新性地将参数 token 化，为模型缩放提供新范式，论文被 ICLR 2025 接收，学术价值高
  • 官方实现，代码组织清晰，包含训练和推理脚本，易于复现论文结果
  • 支持渐进式模型增长，可在不从头训练的情况下扩展模型容量，降低计算成本

不足之处

  • 项目处于早期阶段（星标 593），社区生态和文档尚不完善，上手可能需要一定研究背景
  • 目前仅提供基础实现，缺少与主流框架（如 HuggingFace）的深度集成，实际部署需自行适配

适用场景

  • 学术研究：探索 Transformer 参数高效扩展的新方法
  • 模型个性化：基于少量数据动态调整参数，实现轻量级微调
  • 资源受限场景：在有限算力下渐进式训练大模型

替代项目

HyperTransformer、Dynamic Transformer、T5 (Parameter-Efficient Fine-Tuning variants)

上一篇：Awesome-Reasoning-Foundation-Models

下一篇：awesome-fm4co

同类项目推荐

ChatRWKV 开源

用 RNN 架构跑出 ChatGPT 效果，低显存也能流畅对话

ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open sou···

★ 9486 2026-08-09
Awesome-LLM4Graph-Papers 开源

一页览尽 LLM 与图数据交叉研究，快速定位关键论文

[KDD'2024] "LLM4Graph: A Survey of Large Language Models for Graphs"

★ 369 2026-08-09
xgen 开源

用 8k 长上下文，让模型读懂更长的文本

Salesforce open-source LLMs with 8k sequence length.

★ 727 2026-08-09
awesome-opensource-ai 开源

每日更新，帮你精选最值得关注的真正开源AI项目。

Curated list of the best truly open-source AI projects, models, tools, and infrastru···

★ 5011 2026-08-09
tapestry 开源

联合全球力量，训练属于你的主权AI模型

Project Tapestry aims to give every nation and participant frontier AI they can call···

★ 300 2026-08-09
papagei-foundation-model 开源

用PPG信号预训练，快速构建健康监测AI模型

(ICLR'25) PaPaGei: Open Foundation Models for Optical Physiological Signals

★ 179 2026-08-09
World-Simulator 开源

一站式掌握多模态生成与世界模拟前沿资源

[IEEE TPAMI 2026] Simulating the Real World: Survey & Resources, which contains our ···

★ 397 2026-08-09
Emu 开源

一个模型搞定图像视频生成与理解，智源出品

Emu Series: Generative Multimodal Models from BAAI

★ 1776 2026-08-09
Awesome-LLM-Survey 开源

一网打尽LLM综述资源，快速入门不迷路

An Awesome Collection for LLM Survey

★ 446 2026-08-09