项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 79
核心亮点
- 训练成本低：通过压缩长序列，大幅减少训练时的计算和显存需求。
- 效果显著：在多个长上下文基准测试中，性能接近甚至超过全序列训练。
- 兼容性好：支持主流大模型架构，可灵活集成到现有训练流程。
不足之处
- 文档/社区待观察：项目处于早期，文档和社区支持尚不完善。
- 压缩策略通用性待验证：针对特定任务或领域的压缩效果可能需调优。
适用场景
- 科研人员研究长上下文模型训练方法。
- 开发者需要低成本扩展现有模型的上下文长度。
- 企业希望在有限算力下部署长文本处理能力。
替代项目
LongLora、YaRN、Position Interpolation
上一篇：IPR
下一篇：MoE-plus-plus
同类项目推荐
mnist-mlops-learning
开源
用MNIST示例快速上手MLflow+FastAPI+Streamlit的MLOps全流程
In this project I played with mlflow, streamlit and fastapi to create a training and···
rapidfireai
开源
拖拽式搞定 AI 定制，从 RAG 到微调一键加速
RapidFire AI: Rapid AI Customization from RAG to Fine-Tuning
MoTHer
开源
从模型集合中自动还原模型家族树，看清模型间继承关系。
Official PyTorch Implementation for the "Unsupervised Model Tree Heritage Recovery" ···
onebitllms
开源
小显存也能训练1.58bit三值大模型
Lightweight toolkit package to train and fine-tune 1.58bit Language models
VisionFoundry
开源
用合成图像训练VLM，低成本提升视觉感知能力
VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images
Qwen3-TTS-EasyFinetuning
开源
上传少量音频，快速克隆音色并微调多语言语音合成模型
Easy fine-tuning for Qwen3-TTS: Fast voice cloning and high-quality multilingual spe···
awesome-activation-engineering
开源
整理激活工程资源，助你精准操控AI模型行为
A curated list of resources for activation engineering
SparseLLM
开源
全局剪枝大模型，高稀疏度下保住性能
Official Repo for SparseLLM: Global Pruning of LLMs (NeurIPS 2024)
CorDA
开源
用上下文感知的低秩分解，让大模型微调更省资源更精准
CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for task-a···