LongLLaDA

让扩散模型也能读懂长文本，解锁超长上下文

LongLLaDA 是一个面向扩散式大语言模型（Diffusion LLM）的长上下文能力增强方案，由 AAAI26 论文提出。扩散式 LLM 与传统自回归模型不同，通过迭代去噪生成文本，但现有扩散模型在处理长序列时存在上下文窗口受限、生成质量下降等问题。LongLLaDA 通过改进位置编码、注意力机制和训练策略，解锁扩散模型的长上下文潜力，使其能高效处理数万 token 的输入。项目提供完整的训练和推理代码，支持在现有扩散模型基础上进行扩展，旨在推动扩散式 LLM 在长文档理解、多轮对话等场景的实用化。核心能力包括：长序列建模、位置编码优化、高效注意力实现，以及针对扩散模型的特殊训练技巧。作为早期开源项目，其代码结构清晰，便于研究者复现和二次开发。