distillops

教师API造数据,小模型也能学会可验证任务

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 3 🐛 待处理 1 👀 关注 3
GitHub ↗
GitHub 星标 ★ 101
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

distillops 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队Zihao-Wu06
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai-agents,distillation,document-understanding,fine-tuning,grpo,knowledge-distillation,llm,multimodal,posttraining,qwen,qwen3-vl,reinforcement-learning,rlvr,sft,small-language-models,trl,vision-language-model,vllm
GitHub 星标★ 101
上线时间2026-10-28 00:00:00
代码更新2026-11-04
仓库体积389 KB
本站数据更新2026-11-17
维护状态较活跃
收录时间2026-11-17
浏览次数0

项目介绍

distillops 是一个面向可验证任务的黑盒大模型蒸馏工具链,目标是把教师 API 的能力迁移到更小、可自部署的学生模型上。它把完整后训练流程串成流水线:教师 API 生成候选回答,经拒绝采样筛选高质量样本,再做监督微调(SFT),随后在验证集上评测,最后用 GRPO 强化学习进一步优化。支持文本与图像输入,覆盖文档理解、多模态问答等场景,底层围绕 Qwen 系列模型组织训练与评测脚本。项目用 Python 实现,面向希望以较低成本获得专用小模型的团队,强调任务可验证、流程可复现,适合从零搭建教师到学生的蒸馏实验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-17 · 当前星标 ★ 101

核心亮点

  • 把教师采样、拒绝采样、SFT、评测、GRPO 串成一条可复现流水线,省去自己拼装脚本
  • 同时支持文本和图像输入,覆盖文档理解等多模态任务
  • 以可验证任务为核心设计,评测环节内置于流程,便于判断蒸馏是否有效

不足之处

  • 项目处于早期,星标约百级,社区规模与长期维护情况待观察
  • 依赖教师 API 生成数据,成本与调用稳定性受外部服务影响
  • GRPO 阶段对算力和调参经验有要求,小团队上手仍需投入

适用场景

  • 把闭源大模型在特定文档抽取任务上的能力蒸馏到本地小模型
  • 为多模态问答构建可验证的合成数据并做监督微调
  • 用 GRPO 在已有 SFT 模型上继续提升任务准确率

替代项目

distilabel、trl、LLaMA-Factory

上一篇:cookbook

下一篇:没有了!

同类项目推荐

aimet 开源

不重训模型,把已训练网络压到 4bit 还能保住精度

AIMET is a library that provides advanced quantization and compression techniques fo···

★ 2750 2026-10-17
xmtf 开源

多任务微调,让模型学会跨语言举一反三

Crosslingual Generalization through Multitask Finetuning

★ 535 2026-08-09
peft 开源

用极低成本微调大模型,省显存省时间,效果不打折。

PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.

★ 21895 2026-08-09
OpenThoughts-Agent 开源

一套配方搞定 Agent 训练数据与流程

Data recipes and robust infrastructure for training AI agents

★ 312 2026-10-17
all-rl-algorithms 开源

一个仓库搞定所有强化学习算法,快速上手复现

Implementation of all RL algorithms in a simpler way

★ 2002 2026-08-09
causalml 开源

量化每个动作的真实增量,把预算花在会被打动的人身上

Uplift modeling and causal inference with machine learning algorithms

★ 6049 2026-10-25
GPTQModel 开源

把大模型压到4bit,显存减半还能跑

LLM model quantization (compression) toolkit with HW acceleration support for Nvidia···

★ 1290 2026-10-17
TOTEM 开源

把时间序列变成 token,一个模型搞定预测、分类、异常检测

The official code ‍ for - TOTEM: TOkenized Time Series EMbeddings for General Time ···

★ 374 2026-08-09
EvoTune 开源

让 LLM 自动进化出算法,省去手工设计

Efficiently discovering algorithms via LLMs with evolutionary search and reinforceme···

★ 146 2026-08-09