LongLoRA

用少量算力把大模型上下文拉到 100k+，长文本任务轻松搞定

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 278 🐛 待处理 53 👀 关注 12

GitHub ↗

GitHub 星标 ★ 2685

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0 许可证，代码和文档公开，可免费使用和部署。

项目预览

项目数据

分类开源模型

开发团队JIA-Lab-research

GitHubhttps://github.com/JIA-Lab-research/LongLoRA

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0 许可证，代码和文档公开，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型fine-tuning-llm,large-language-models,llm,long-context,lora

GitHub 星标★ 2685

上线时间2023-09-21 00:00:00

代码更新2024-08-14

仓库体积11.4 MB

本站数据更新2026-11-07

维护状态低维护

收录时间2026-08-09

浏览次数6

项目介绍

LongLoRA 是一个针对大语言模型的长上下文微调方案，由 MIT 等机构提出，相关论文入选 ICLR 2024 Oral。它解决了在有限算力下将预训练模型（如 Llama 2）的上下文长度从 4k 扩展到 100k+ 的难题。核心创新包括：提出可转移的稀疏注意力机制（Shifted Sparse Attention，S2Attn），在微调阶段近似全注意力，大幅降低计算开销；同时结合 LoRA 低秩适配，仅更新少量参数即可实现高效长上下文扩展。项目提供了完整的代码、训练脚本和预训练权重，支持 Llama 2 和 Llama 3 等模型，并附带 LongAlpaca 长指令微调数据集。用户可基于此快速将现有模型扩展为长文本模型，用于长文档理解、多轮对话等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2685

技术标签

large-language-models llm long-context lora

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 30 分钟部署方式：本地安装 6 步

环境要求

Python 环境与 pip（用于安装 requirements.txt 依赖）
Hugging Face 账号，且注册邮箱有效
已接受 Meta 的 Llama 许可与可接受使用政策（下载预训练权重前必须完成）
具备可用于微调/推理的 GPU 环境（README 未给出具体显存要求）

安装与启动步骤

1Fork 项目仓库

登录 GitHub，打开项目主页点击 Fork，把仓库复制到自己的账号下，便于后续修改和保存训练脚本。
2克隆仓库到本地

在自己的机器上执行 git clone，把 Fork 后的仓库拉到本地；如已在本地有代码可跳过此步。
```
git clone https://github.com/JIA-Lab-research/LongLoRA.git
```
3安装 Python 依赖

进入项目目录后安装 requirements.txt 中的依赖，建议先激活虚拟环境避免污染系统 Python。
```
pip install -r requirements.txt
```
4安装 flash-attn

按要求使用 --no-build-isolation 参数安装 flash-attn，否则可能因构建隔离导致安装失败，编译耗时较长需耐心等待。
```
pip install flash-attn --no-build-isolation
```
5准备模型权重

二选一：直接使用官方 Released model 权重，或按 README 的 Fine tune 流程自行微调一个适合自己偏好的模型。
6对话测试与部署

通过 chat 方式测试模型效果，确认长上下文表现正常后，再参考 Demo 章节部署自己的演示服务。