项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 212
核心亮点
- 量化感知蒸馏与 INT4 部署结合，针对 VLM 多模态场景而非纯文本模型
- 以 Qwen3-VL 为基座，配套训练与评测 Notebook，复现路径相对清晰
- 集成 AWQ 等成熟量化工具链，工程落地参考价值较高
不足之处
- 项目早期星标少，社区生态和长期维护情况待观察
- 以 Notebook 为主，缺少封装好的推理库和开箱即用的部署接口
适用场景
- 在显存有限的单卡上部署多模态大模型做推理服务
- 研究低比特量化对 VLM 视觉理解能力的影响并做对比实验
- 为自研 VLM 设计蒸馏加量化的压缩训练流程
替代项目
AWQ、LLaVA、GPTQ
上一篇：JevAny
同类项目推荐
KnowledgeCircuits
开源
拆解大模型内部知识电路，精准定位事实存储与推理路径
[NeurIPS 2024] Knowledge Circuits in Pretrained Transformers
LLM-PowerHouse-A-Curated-Guide-f···
开源
照着练，从零搞定LLM自定义训练与推理部署。
LLM-PowerHouse: Unleash LLMs' potential through curated tutorials, best practices, a···
UniDiffusion
开源
一站式训练扩散模型，切换多种个性化方法无需改代码
A Diffusion training toolbox based on diffusers and existing SOTA methods, including···
LLM-ESR
开源
让大模型推理步步为营，减少中间错误，提升最终答案准确率。
[NeurIPS'24 Spotlight] The official implementation code of LLM-ESR.
Tutel
开源
让 MoE 大模型训练更快更省显存，支持 FP8/FP4 低精度。
Tutel MoE: Optimized Mixture-of-Experts Library, Support GLM/Kimi/Gpt/DeepSeek/Qwen ···
CausalPFN
开源
用上下文学习，秒级估算因果效应，告别复杂建模
CausalPFN: Amortized Causal Effect Estimation via In-Context Learning
train-deepseek-r1
开源
手把手从零实现 DeepSeek R1，看懂并跑通核心代码
Building DeepSeek R1 from Scratch
kikiri-tts
开源
给 Kokoro 模型加新语言，照着文档就能微调
This project provides a complete, documented training recipe for fine-tuning Kokoro-···
vertex-ai-mlops
开源
照着做，就能在 Google Cloud 上跑通生产级 ML 流水线
Google Cloud Platform Vertex AI end-to-end workflows for machine learning operations