Rearchitecting-LLMs

手把手教你剪枝、蒸馏、优化注意力,免费GPU跑通

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 16 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 79
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源代码,可免费在Colab GPU上运行,无付费版本。

项目预览

Rearchitecting-LLMs 项目界面预览图
图片来源:项目官网

项目数据

分类开源模型
开发团队peremartra
定价模式🏷️完全免费
价格说明开源代码,可免费在Colab GPU上运行,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型ai-fairness,attention-optimization,fine-tuning,knowledge-distilation,large-language-models,llm,mode-compression,model-optimization,qlora,quantization,width-pruning
GitHub 星标★ 79
上线时间2025-08-19 00:00:00
代码更新2026-11-08
仓库体积8.7 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数6

项目介绍

这是 Manning 出版社《Rearchitecting LLMs》一书的官方代码仓库,聚焦大语言模型的结构性优化,涵盖深度/宽度剪枝、知识蒸馏和注意力机制优化三大核心主题。项目提供可运行的 Jupyter Notebook 教程,所有实验均可在免费的 Colab GPU 上执行,降低了学习门槛。它旨在帮助开发者深入理解 LLM 内部结构,并掌握在不显著损失性能的前提下压缩和加速模型的实际技能。代码库结构清晰,每个主题配有独立 notebook,包含理论讲解和动手实践,适合希望系统学习 LLM 优化技术的研究者或工程师。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 79

核心亮点

  • 配套 Manning 权威书籍,内容系统且经过编辑审校
  • 所有实验可在免费 Colab GPU 运行,零硬件成本上手
  • 覆盖剪枝、蒸馏、注意力优化三大主流技术,实用性强

不足之处

  • 星标数仅67,社区活跃度和案例积累尚浅
  • 文档/社区待观察

适用场景

  • 系统学习 LLM 结构优化理论并动手实践
  • 在资源受限环境(如免费 Colab)压缩模型
  • 为生产环境部署 LLM 做轻量化预研

替代项目

llm-pruning、Textbooks Are All You Need、distilbert

上一篇:Awesome-LLM-On-Policy-Distillation

下一篇:paxml

同类项目推荐

lorax 开源

一个服务跑上千个微调模型,省 GPU 又省心

Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs

★ 3835 2026-08-09
oumi 开源

一条命令搞定 LLM 微调、评估与部署,让模型落地更简单。

Easily fine-tune (SFT/RL), evaluate, and deploy Qwen, Gemma, or any open agentic LLM···

★ 9429 2026-08-10
RLCSD 开源

用对比自蒸馏强化 RL 训练,让策略更稳更高效

Source code of paper "RLCSD: Reinforcement Learning with Contrastive On-Policy Self-···

★ 116 2026-08-09
IPR 开源

逐步纠错,让LLM智能体每一步都走对

Watch Every Step! LLM Agent Learning via Iterative Step-level Process Refinement (E···

★ 67 2026-08-09
dLLM-RL 开源

给扩散大模型装上强化学习引擎,训练出 SOTA 的 TraDo 系列

[ICLR 2026] Official code for TraceRL: Revolutionizing post-training for Diffusion L···

★ 523 2026-08-09
DataMate 开源

一站式搞定大模型微调与RAG的数据处理,让数据准备不再拖后腿

DataMate is an enterprise-level data processing platform designed for model fine-tun···

★ 374 2026-08-09
benderopt 开源

无梯度也能调参,黑盒优化一键搞定

Black-box optimization library

★ 87 2026-08-09
distill-sd 开源

把大模型蒸馏成小模型,低显存也能跑高质量图像生成

Segmind Distilled diffusion

★ 619 2026-08-09