Monet

让 Transformer 每个专家只懂一件事，可解释性拉满

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 5 👀 关注 4
GitHub ↗
GitHub 星标 ★ 79
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，完全免费，可自行部署使用。

项目预览

Monet 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队dmis-lab
GitHubhttps://github.com/dmis-lab/Monet
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型iclr,iclr2025,interpretability,large-language-models,mixture-of-experts,sparse-autoencoders
GitHub 星标★ 79
上线时间2024-12-06 00:00:00
代码更新2025-06-23
仓库体积263 KB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

Monet 是一个面向 Transformer 架构的开源模型，提出了混合单语义专家（Mixture of Monosemantic Experts）机制，旨在解决传统 Transformer 中神经元多义性（polysemanticity）导致的可解释性差和知识混杂问题。通过将专家模块设计为单语义单元，每个专家专注于特定概念或任务，Monet 在保持模型性能的同时，显著提升了内部表征的稀疏性和可解释性。该项目提供了完整的训练和推理代码，支持自定义专家数量和路由策略，适用于需要高可解释性、可控生成或模块化扩展的 NLP 场景。核心能力包括：单语义专家路由、稀疏激活、可解释性分析工具，以及基于 ICLR 2025 论文的基准实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 79

核心亮点

  • 单语义专家设计，显著降低神经元多义性，模型内部逻辑更清晰
  • 支持自定义专家数量和路由策略，灵活适配不同任务
  • 提供可解释性分析工具，便于可视化专家激活和语义绑定

不足之处

  • 早期项目，文档和社区支持待观察
  • 专家数量增加可能带来推理开销，需权衡性能

适用场景

  • 需要高可解释性的 NLP 模型研究
  • 可控文本生成，如指定主题或风格
  • 模型模块化扩展，按需添加新知识

替代项目

Mixtral 8x7B、Switch Transformer、MoEfication

上一篇：Awesome-spatial-visual-reasoning-MLLMs

下一篇：Efficient-LLMs-Survey

同类项目推荐

VisualRWKV 开源

让 RWKV 看懂图片，多模态推理更高效

VisualRWKV is the visual-enhanced version of the RWKV language model, enabling RWKV ···

★ 247 2026-08-09
MultiModalMamba 开源

ViT 加 Mamba 融合，多模态推理又快又省显存

A novel implementation of fusing ViT with Mamba into a fast, agile, and high perform···

★ 473 2026-10-18
Halfrost-Field 开源

深入源码与系统设计，助你从会用进阶到懂原理

✍ Source Code Deep Dives, System Design & Engineering Blogs | Halfrost-Field 冰霜之···

★ 13251 2026-08-09
VisionLLM 开源

让视觉模型听懂人话，直接对话图像内容

VisionLLM Series

★ 1155 2026-08-09
LIMU-BERT_Experience 开源

用海量IMU数据预训练，让传感器模型开箱即用

LIMU-BERT-X is a sensor foundation model pretrained with 1.43 millions hours of IMU ···

★ 73 2026-08-09
LongLLaDA 开源

让扩散模型也能读懂长文本，解锁超长上下文

Methods and code for extending the context length of diffusion language models

★ 56 2026-08-09
GenerativeAI 开源

跟着示例跑通LLM应用，快速上手生成式AI开发

GenAI & LLM usecases and applications

★ 178 2026-08-09
Chinese-Llama-2-7b 开源

下载即用的中文 LLaMA2，让中文对话开箱即跑

开源社区第一个能下载、能运行的中文 LLaMA2 模型！

★ 2199 2026-08-09
BayLing-Speech 开源

让开源模型像GPT-4o一样自然流畅地语音对话

LLaMA-Omni is a low-latency and high-quality end-to-end speech interaction model bui···

★ 3145 2026-08-09