MambaInLlama
把 Llama 蒸馏成混合模型，推理更快更省内存
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 244
核心亮点
- 官方 NeurIPS 2024 实现，方法可靠，实验配置完整
- 支持灵活配置混合层，可自由平衡质量与速度
- 提供推理加速优化，长序列场景吞吐量提升明显
不足之处
- 文档/社区待观察
- 依赖特定硬件和框架，部署门槛较高
适用场景
- 长文本生成与摘要，降低推理延迟
- 边缘设备或高并发服务中部署 LLM
- 研究混合架构蒸馏方法，作为基线对比
替代项目
Jamba、Zamba、Mamba-2
上一篇：AlphaEdit
下一篇：ringattention
同类项目推荐
xmtf
开源
多任务微调，让模型学会跨语言举一反三
Crosslingual Generalization through Multitask Finetuning
FastGen
开源
把扩散模型采样步数压下来，生成更快
NVIDIA FastGen: Fast Generation from Diffusion Models
mixture_of_recursions
开源
让简单 token 提前下班，难 token 多算几轮，省算力不降质
Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Co···
twinkle
开源
一站式训练工作台，让模型训练更省心
Twinkle✨: Training workbench to make your model glow.
lightly-train
开源
一个命令搞定视觉模型预训练、微调和蒸馏，告别碎片化流程。
All-in-one training for vision models (YOLO, ViTs, RT-DETR, DINOv3): pretraining, fi···
RAG-Retrieval
开源
统一微调 RAG 检索模型，让召回更精准
Unify Efficient Fine-tuning of RAG Retrieval, including Embedding, ColBERT, ReRanke···
VeriThinker
开源
让模型学会自我验证，推理更快更准
[NeurIPS 2025] VeriThinker: Learning to Verify Makes Reasoning Model Efficient
sagify
开源
一条命令把本地模型部署到 AWS SageMaker，省心省力
LLMs and Machine Learning done easily
meta-context-engineering
开源
让AI自动进化上下文策略，告别手写提示词
[ICML 2026] Meta Context Engineering via Agentic Skill Evolution