LongRecipe

把长文本压缩成短序列,高效训练长上下文模型。

LongRecipe 是一个针对大语言模型长上下文泛化能力的高效训练方案。它通过模拟长序列训练效果,将长文本压缩成短序列的“配方”,在不显著增加计算成本的前提下,提升模型处理超长文本的能力。项目解决了长上下文训练中显存占用高、计算开销大的问题,核心能力包括长序列压缩、高效微调以及长上下文性能提升。适用于需要扩展模型上下文窗口的研究者和开发者。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 79
维护状态 低维护
是否开源
定价模式 free

项目数据

分类开源模型
开发团队zhiyuanhubj
所属国家
官网地址
定价模式free
价格说明开源项目,可自行部署使用,完全免费。
访问状态
是否开源
开源协议
主要语言Python
技术栈/模型large-language-models,llm,long-context-modeling,pretraining
GitHub 星标★ 79
30天Star增速
HF 下载量
上线时间2024-08-27 00:00:00
最近更新2026-07-10 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 训练成本低:通过压缩长序列,大幅减少训练时的计算和显存需求。
  • 效果显著:在多个长上下文基准测试中,性能接近甚至超过全序列训练。
  • 兼容性好:支持主流大模型架构,可灵活集成到现有训练流程。

不足之处

  • 文档/社区待观察:项目处于早期,文档和社区支持尚不完善。
  • 压缩策略通用性待验证:针对特定任务或领域的压缩效果可能需调优。

适用场景

  • 科研人员研究长上下文模型训练方法。
  • 开发者需要低成本扩展现有模型的上下文长度。
  • 企业希望在有限算力下部署长文本处理能力。

替代项目

LongLora、YaRN、Position Interpolation

项目介绍

LongRecipe 是模型训练领域的开源项目,由 zhiyuanhubj 开发,2024 年首次发布。

它收录于模型训练分类,该分类目前共有 518 个项目,GitHub 星标数为 79。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-07-10。可自行部署使用,完全免费。

它主要面向的使用场景是:科研人员研究长上下文模型训练方法。同类可对比的替代方案包括 LongLora、YaRN、Position Interpolation。

上一篇:IPR

下一篇:MoE-plus-plus

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13