distillation
本站收录 27 个带「distillation」标签的 AI 开源项目
reasoning-from-scratchreasoning-from-scratch 是一个从零开始实现推理大语言模型（LLM）的开源教程项目，基于 PyTorch 逐步构建。它旨在帮助开发者和研究者★ 5,321
FastVideo统一的视频生成加速框架，将推理与后训练（post-training）流程整合一体，通过高效优化实现更快的视频生成速度，降低训练与推理成本，适合研究团队与工程部署★ 4,521
TurboDiffusion面向视频扩散模型的极致加速方案，通过蒸馏与优化实现 100~200 倍推理加速，在保持生成质量的同时大幅缩短出片时间，让高质量视频生成从离线走向实时成为可能。★ 3,850
lightly-trainlightly-train 是一个面向视觉模型的一体化训练框架，支持 YOLO、ViT、RT-DETR、DINOv3 等主流架构，覆盖预训练、微调和蒸馏全流程。★ 1,692
immortal-skillimmortal-skill 是一个开源的“数字永生”框架，旨在从个人聊天记录中蒸馏出高保真的数字分身。它解决了如何将零散对话数据转化为可交互、可延续的AI人格★ 1,067
Causal-ForcingCausal-Forcing 是 ICML 2026 论文的官方代码库，提出了一种自回归扩散模型的蒸馏方法，旨在实现高质量、实时的交互式视频生成。它解决了传统扩★ 983
deepfabricdeepfabric 是一个面向 AI 数据工程的一体化流水线工具，旨在解决高质量合成数据生成、模型训练、评估与蒸馏的割裂问题。它提供从数据生成到模型优化的完整★ 886
AwesomeOPDAwesomeOPD 是一个关于在线策略蒸馏（On-Policy Distillation）的精选资源列表，专注于大语言模型（LLM）领域的知识蒸馏技术。该项目★ 873
awesome-on-policy-distillation这是一个围绕大语言模型在线策略蒸馏（On-Policy Distillation，OPD）的资源合集，系统整理了论文、技术报告、框架和工具。它解决的核心问题是：★ 850
kandinsky-5Kandinsky 5.0 是一个基于扩散模型的视频与图像生成项目，旨在提供高质量的多模态生成能力。它解决了从文本到视频和图像的统一生成问题，支持文本到视频、文★ 829
rcmrCM（Rectified Consistency Models）是一个专注于视频扩散模型蒸馏的开源项目，旨在将大规模视频扩散模型转化为少步生成模型，实现双向和★ 814
flash-diffusionFlash Diffusion 是一个加速条件扩散模型推理的开源项目，来自 AAAI 2025 Oral 论文。它通过引入先进的蒸馏技术和架构优化，显著减少扩散★ 667
distill-sddistill-sd 是 Segmind 推出的扩散模型蒸馏工具集，专注于将大型 Stable Diffusion 模型蒸馏为更小、更快的版本，同时尽量保留生成★ 621
LakonLabLakonLab 是一个专注于图像生成的开源项目，官方实现了 AsymFlow、pi-Flow 和 GMFlow 三种流匹配（Flow Matching）模型。★ 471
AGI-PapersAGI-Papers 是一个精选的 AI 前沿论文归档项目，聚焦智能体（Agents）、模型架构（Architecture）、训练方法（Training）、检索★ 421
quick-start-guide-to-llms这是《大型语言模型快速入门指南》一书的官方代码仓库，配套书籍内容，提供了一系列 Jupyter Notebook 示例，帮助读者从零开始理解大语言模型的核心概念★ 397
BK-SDMBK-SDM（Block-KD 与屏蔽蒸馏的 Stable Diffusion 压缩模型）是 ECCV 2024 提出的高效文本生成图像方案。它通过结构剪枝与知★ 326
pmetalPMetal 是一个面向 Apple Silicon 的高性能本地大模型框架，用 Rust 编写，目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微★ 321
LLaVA-MoDLLaVA-MoD 是一个面向多模态大语言模型的高效压缩方案，通过结合混合专家（MoE）与知识蒸馏技术，将原本庞大的 LLaVA 模型压缩为轻量级版本，同时保持★ 227
WaDiWaDi 是一个面向一步图像合成的权重方向感知蒸馏框架，由 CVPR 2026 论文官方提供 PyTorch 实现。它解决扩散模型蒸馏过程中因权重方向忽略导致的★ 186
CDMCDM（Continuous-Time Distribution Matching）是一个面向少步扩散蒸馏的开源项目，旨在解决扩散模型生成速度慢的问题。它通过连★ 155
Kandinsky-4Kandinsky-4 是俄罗斯团队开源的视频生成模型，支持文本生成视频和图像生成视频两种模式。它基于扩散模型架构，通过引入视频蒸馏技术提升生成效率，并支持视频★ 150
oreilly-hands-on-gpt-llm这是一个配套O'Reilly书籍《Hands-On GPT-LLM》的实战代码仓库，专注于大规模、高效AI模型部署。项目以Jupyter Notebook形式提★ 145
autoauto 是一个被称为“AGI 编译器”的基础设施项目，用 Rust 编写。它通过记录 LLM agent 的行为轨迹，利用 conformal predict★ 128
dParalleldParallel 是一个面向扩散大语言模型（dLLMs）的可学习并行解码框架，论文被 ICLR 2026 接收。它解决扩散模型在文本生成时因迭代式去噪导致推理★ 67
data-forcing-distillationData-Forcing Distillation (DFD) 是一个用于少步视频生成的蒸馏方法，旨在解决现有蒸馏技术在少步生成时出现的多样性和保真度下降问题。★ 59
BLADEBLADE 是一个面向视频生成的高效推理加速框架，核心思路是将块稀疏注意力（Block-Sparse Attention）与步骤蒸馏（Step Distilla★ 53