MambaInLlama 是模型训练领域的开源项目，由 jxiw 开发，2024 年首次发布。
它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 243。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-20。Apache-2.0 许可证，可自由使用，无付费版本。
它主要面向的使用场景是：长文本生成与摘要，降低推理延迟。同类可对比的替代方案包括 Jamba、Zamba、Mamba-2。
MambaInLlama
把 Llama 蒸馏成混合模型，推理更快更省内存
MambaInLlama 是 NeurIPS 2024 的官方实现，专注于将 Llama 等预训练 Transformer 模型蒸馏为混合架构（如 Mamba 与注意力结合），并加速推理。它解决了纯注意力模型在长序列推理中计算和内存开销大的问题，通过线性递归的 Mamba 层替代部分注意力层，在保持模型质量的同时显著提升吞吐量。核心能力包括：提供完整的蒸馏训练流程、支持多种混合架构配置、以及针对推理的加速优化。项目代码基于 Python 和 PyTorch，适合研究者复现实验或在此基础上进行二次开发。
开源
free
开源模型
GitHub 星标
★ 243
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队jxiw
所属国家
定价模式free
价格说明开源项目，Apache-2.0 许可证，可自由使用，无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型large-language-models,state-space-model
GitHub 星标★ 243
30天Star增速
HF 下载量
上线时间2024-07-15 00:00:00
最近更新2026-07-20 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2
使用教程
核心亮点
- 官方 NeurIPS 2024 实现，方法可靠，实验配置完整
- 支持灵活配置混合层，可自由平衡质量与速度
- 提供推理加速优化，长序列场景吞吐量提升明显
不足之处
- 文档/社区待观察
- 依赖特定硬件和框架，部署门槛较高
适用场景
- 长文本生成与摘要，降低推理延迟
- 边缘设备或高并发服务中部署 LLM
- 研究混合架构蒸馏方法，作为基线对比
替代项目
Jamba、Zamba、Mamba-2
项目介绍
上一篇：AlphaEdit
下一篇：ringattention
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···