TokenFormer

把参数变成 token，让 Transformer 按需扩展，省钱又灵活

TokenFormer 是一个在 ICLR 2025 上获得 Spotlight 的 Transformer 架构改进方案，核心思想是将模型参数也视为 token，从而在推理时动态生成或调整部分权重，打破传统 Transformer 参数规模固定、扩展成本高的瓶颈。它解决的是大模型参数高效扩展与个性化适配的问题，让模型在保持性能的同时，能以更低的计算和存储代价进行缩放或微调。核心能力包括：参数 token 化机制、可插拔的注意力层设计，以及支持渐进式模型增长。该项目提供了官方实现，基于 Python 和主流深度学习框架，代码结构清晰，适合研究者复现实验或在此基础上进行二次开发。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 595

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队Haiyang-W

所属国家

官网地址

GitHubhttps://github.com/Haiyang-W/TokenFormer

定价模式free

价格说明开源项目，Apache-2.0许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型architecture,attention-mechanism,foundation-models,llm,scaling-methods,transformer

GitHub 星标★ 595

30天Star增速

HF 下载量

上线时间2024-10-29 00:00:00

最近更新2026-09-22 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

创新性地将参数 token 化，为模型缩放提供新范式，论文被 ICLR 2025 接收，学术价值高
官方实现，代码组织清晰，包含训练和推理脚本，易于复现论文结果
支持渐进式模型增长，可在不从头训练的情况下扩展模型容量，降低计算成本

不足之处

项目处于早期阶段（星标 593），社区生态和文档尚不完善，上手可能需要一定研究背景
目前仅提供基础实现，缺少与主流框架（如 HuggingFace）的深度集成，实际部署需自行适配

适用场景

学术研究：探索 Transformer 参数高效扩展的新方法
模型个性化：基于少量数据动态调整参数，实现轻量级微调
资源受限场景：在有限算力下渐进式训练大模型

替代项目

HyperTransformer、Dynamic Transformer、T5 (Parameter-Efficient Fine-Tuning variants)

项目介绍

TokenFormer 是开源模型领域的开源项目，由 Haiyang-W 开发，2024 年首次发布。

它收录于开源模型分类，该分类目前共有 424 个项目，GitHub 星标数为 595。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。Apache-2.0许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：学术研究：探索Transformer参数高效扩展的新方法。同类可对比的替代方案包括 HyperTransformer、Dynamic Transformer、T5 (Parameter-Efficient Fine-Tuning variant…。

上一篇：Awesome-Reasoning-Foundation-Models

下一篇：awesome-fm4co