Monet

让 Transformer 每个专家只懂一件事，可解释性拉满

Monet 是一个面向 Transformer 架构的开源模型，提出了混合单语义专家（Mixture of Monosemantic Experts）机制，旨在解决传统 Transformer 中神经元多义性（polysemanticity）导致的可解释性差和知识混杂问题。通过将专家模块设计为单语义单元，每个专家专注于特定概念或任务，Monet 在保持模型性能的同时，显著提升了内部表征的稀疏性和可解释性。该项目提供了完整的训练和推理代码，支持自定义专家数量和路由策略，适用于需要高可解释性、可控生成或模块化扩展的 NLP 场景。核心能力包括：单语义专家路由、稀疏激活、可解释性分析工具，以及基于 ICLR 2025 论文的基准实现。