NextTransformer

同算力下公平对比 Transformer 新架构

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开发框架 🍴 复刻 31 🐛 待处理 7 👀 关注 16
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 393
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,采用开源许可证

项目预览

NextTransformer 项目界面预览图
图片来源:项目官网

项目数据

分类开发框架
开发团队Interactive-Active-AI
定价模式🏷️完全免费
价格说明开源免费,采用开源许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型auto-research,benchmark,deep-learning,language-models,linear-attention,llm,looped-transformer,nexttransformer,pytorch,sparse-attention,transformer
GitHub 星标★ 393
上线时间2026-10-31 00:00:00
代码更新2026-11-07
仓库体积4.8 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-11-09
浏览次数0

项目介绍

NextTransformer 是一个面向下一代 Transformer/LLM 的开源框架,目标是把模型架构研究从零散实验变成可复现、可对比的系统工程。它提供统一的模型实现与训练入口,覆盖线性注意力、循环 Transformer 等前沿结构,并内置算力对齐(compute-matched)的基准测试,让不同架构在相同计算预算下公平比较,避免因训练量不同导致的结论偏差。项目还包含一个自主架构研究平台,支持自动化搜索与评估新结构,降低研究者做对照实验的成本。整体定位偏研究与实验,而非直接面向应用部署,适合想验证新注意力机制或循环深度方案是否真正有效的团队,用一套代码完成实现、训练、评测和横向对比。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-09 · 当前星标 ★ 393

核心亮点

  • 内置算力对齐基准,不同架构在相同计算预算下对比,结论更可信
  • 覆盖线性注意力、循环 Transformer 等多种前沿结构,实现集中在一套代码里
  • 附带自主架构研究平台,支持自动化搜索与评估,减少手工实验成本

不足之处

  • 项目处于早期,星标约 393,生态与文档成熟度有限
  • 偏研究实验定位,缺少面向生产部署的工程化能力
  • 基准覆盖的模型规模与任务范围可能有限,结论外推需谨慎

适用场景

  • 研究新注意力机制时做同算力对照实验
  • 快速复现并评测循环 Transformer 等新结构
  • 搭建自动化架构搜索与评估流水线

替代项目

Hugging Face Transformers、Megatron-LM、x-transformers

上一篇:Gen.jl

下一篇:client

同类项目推荐

magpie 开源

菜单栏一键换模型,Codex 也能跑 DeepSeek

Every agent's model. One place. Codex on DeepSeek, Claude Code on Kimi, from the men···

★ 32219 2026-10-16
agent-native 开源

用 React 写智能体应用,少拼装多交付

A framework for building agentic apps

★ 7644 2026-10-13
LangGraph-GUI 开源

拖拽节点,可视化构建并运行 LangGraph 工作流

Visual node-edge graph GUI editor for LangGraph and run with local LLM or online API

★ 272 2026-08-09
wink-nlp 开源

用 JavaScript 轻松实现文本实体识别与聊天机器人

Developer friendly Natural Language Processing ✨

★ 1391 2026-08-09
MCP-Nest 开源

NestJS 里加个模块,AI 就能调你的接口

A NestJS module to effortlessly create Model Context Protocol (MCP) servers for expo···

★ 732 2026-09-16
dsh-hub-cli 开源

一条命令搞定 DSH 插件校验、解析与安装

Open-source CLI, schemas, resolver, and DSH agent tools for DSH Plugin Hub

★ 274 2026-09-25
awesome-ai-apps 开源

一个列表,看遍AI应用主流玩法,找灵感、选方案。

A collection of projects showcasing RAG, agents, workflows, and other AI use cases

★ 16729 2026-08-09
ChainForge 开源

拖拽节点,批量测试提示词,多模型效果一目了然

An open-source visual programming environment for battle-testing prompts to LLMs.

★ 3041 2026-08-09
tambo 开源

让 AI 回复直接变成可点的 React 界面

Generative UI SDK for React

★ 11224 2026-10-20