residual-context-diffusion

把丢弃的信号变成推理先验，让扩散大模型更聪明

Residual Context Diffusion (RCD) 是一个面向扩散式大语言模型（dLLMs）的高性能推理增强框架，发表于 ICML 2026。它针对 dLLMs 在推理过程中丢弃大量中间信号的问题，提出将原本被忽略的残差上下文重新利用，作为结构化的先验知识注入模型，从而提升推理质量与效率。RCD 通过扩散过程对残差信号进行建模，使其成为可学习的上下文先验，在不增加模型参数的前提下，显著改善长序列推理和复杂任务的表现。该项目提供完整的训练与推理代码，支持自定义数据集，并包含与基线模型的对比实验。核心能力包括：残差信号的提取与编码、扩散先验的生成与融合、以及针对不同 dLLM 架构的适配接口。目前项目处于早期阶段，文档和社区生态仍在建设中。