knowledge-distillation
本站收录 17 个带「knowledge-distillation」标签的 AI 开源项目
colleague-skillcolleague-skill 是一个将离职同事的知识与经验转化为可复用 AI 技能（Skill）的开源项目，旨在把冰冷的告别变成温暖的数字遗产。它通过知识蒸馏★ 25,130
distillyDistilly 是一个将 AI 智能体的思考过程提炼为可复用技能（Skills）的开源工具，前身为 Colleague Skill。它解决了 AI 智能体在特★ 25,130
ai-knowledge-graphai-knowledge-graph 是一个基于大语言模型自动生成知识图谱的开源工具。它解决的是从非结构化文本中手工构建知识图谱耗时费力的问题，利用 AI 自动★ 3,092
neural-compressorneural-compressor 是英特尔开源的模型压缩工具库，专注于低比特量化与稀疏化技术，支持 INT8、FP8、MXFP8、INT4、MXFP4、NVF★ 2,710
Awesome-Efficient-LLMAwesome-Efficient-LLM 是一个精选资源列表，专注于高效大语言模型（LLM）领域。它系统整理了模型压缩、推理加速、架构优化、量化、剪枝、知识蒸★ 2,043
torchdistilltorchdistill 是一个基于 PyTorch 的免编码深度学习框架，专注于知识蒸馏（Knowledge Distillation）研究。它解决了知识蒸馏★ 1,633
awesome-on-policy-distillation这是一个围绕大语言模型在线策略蒸馏（On-Policy Distillation，OPD）的资源合集，系统整理了论文、技术报告、框架和工具。它解决的核心问题是：★ 850
distill-sddistill-sd 是 Segmind 推出的扩散模型蒸馏工具集，专注于将大型 Stable Diffusion 模型蒸馏为更小、更快的版本，同时尽量保留生成★ 621
Awesome-LLM-On-Policy-Distillation这是一个关于大语言模型在线策略蒸馏（On-Policy Distillation）的精选资源清单，汇集了相关论文、代码和工具。在线策略蒸馏是知识蒸馏的一种重要形★ 562
easydistilleasydistill 是一个面向大语言模型的知识蒸馏工具包，旨在简化将大型教师模型（如 GPT-4、Llama 等）的知识迁移到小型学生模型的过程。它解决了 ★ 479
lineage-skilllineage-skill 是一个将视频、PDF、转录稿和笔记等学习材料蒸馏为可追溯来源的教师型 Agent Skill 的开源工具。它解决的是学习过程中信息过★ 448
mini-verlmini-verl 是字节跳动 verl 强化学习训练框架的轻量单卡版本，目标是在一张消费级 NVIDIA GPU（如 RTX 3090/4090）上跑通大模型★ 304
LLaVA-MoDLLaVA-MoD 是一个面向多模态大语言模型的高效压缩方案，通过结合混合专家（MoE）与知识蒸馏技术，将原本庞大的 LLaVA 模型压缩为轻量级版本，同时保持★ 227
ICSFSurveyICSFSurvey 是一个聚焦大语言模型自我修正与推理增强技术的开源综述项目。它系统梳理了 Self-Correct、Self-Refine、Self-Imp★ 172
master-skillmaster-skill 是一个将行业知识蒸馏为可运行 AI 技能（skill）的开源工具。它解决的是通用 AI 助手缺乏行业深度的问题：输入一个行业名称，它会★ 137
SUR-adapterSUR-adapter 是一个为预训练扩散模型设计的轻量级适配器，旨在解决文本到图像生成中文本语义理解不足的问题。它通过从大型语言模型中蒸馏知识，将强大的语义理★ 120
LLM-ESRLLM-ESR是NeurIPS'24 Spotlight论文的官方实现，旨在提升大语言模型在复杂推理任务中的表现。它通过一种名为“推理步骤细化”的机制，让模型在★ 54