LongLLaDA

让扩散模型也能读懂长文本，解锁超长上下文

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 5 🐛 待处理 2
GitHub ↗
GitHub 星标 ★ 56
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源模型，可自行部署，无在线服务，完全免费。

项目预览

LongLLaDA 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队OpenMOSS
GitHubhttps://github.com/OpenMOSS/LongLLaDA
定价模式🏷️完全免费
价格说明开源模型，可自行部署，无在线服务，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型diffusion,diffusion-language-models,large-language-models,length-extrapolation,long-context
GitHub 星标★ 56
上线时间2025-06-20 00:00:00
代码更新2025-12-07
仓库体积1.7 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

LongLLaDA 是一个面向扩散式大语言模型（Diffusion LLM）的长上下文能力增强方案，由 AAAI26 论文提出。扩散式 LLM 与传统自回归模型不同，通过迭代去噪生成文本，但现有扩散模型在处理长序列时存在上下文窗口受限、生成质量下降等问题。LongLLaDA 通过改进位置编码、注意力机制和训练策略，解锁扩散模型的长上下文潜力，使其能高效处理数万 token 的输入。项目提供完整的训练和推理代码，支持在现有扩散模型基础上进行扩展，旨在推动扩散式 LLM 在长文档理解、多轮对话等场景的实用化。核心能力包括：长序列建模、位置编码优化、高效注意力实现，以及针对扩散模型的特殊训练技巧。作为早期开源项目，其代码结构清晰，便于研究者复现和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 56

核心亮点

  • 提出针对扩散 LLM 的长上下文训练方案，填补领域空白
  • 代码结构清晰，便于研究者快速复现论文结果
  • 支持灵活扩展，可适配多种扩散式 LLM 架构

不足之处

  • 项目处于早期阶段，文档和社区支持待观察
  • 未提供预训练模型权重，需自行训练

适用场景

  • 学术研究：探索扩散式 LLM 的长上下文能力
  • 长文本生成：处理书籍、报告等超长文档
  • 多轮对话：提升对话历史记忆长度

替代项目

LongLLaMA、YaRN、LongChat

上一篇：unicom

下一篇：SLMs-Survey

同类项目推荐

mlx-lm 开源

在 Mac 上本地跑大模型，不买显卡也能流畅推理微调

Run LLMs with MLX

★ 7584 2026-09-16
LongLLaDA 开源

让扩散模型也能读懂长文本，解锁超长上下文

Methods and code for extending the context length of diffusion language models

★ 56 2026-08-09
magvit2-pytorch 开源

把视频变成离散token，为视频生成打基础

Implementation of MagViT2 Tokenizer in Pytorch

★ 669 2026-08-09
nucleotide-transformer 开源

用大模型读懂DNA序列，一键提取基因组特征

Foundation Models for Genomics & Transcriptomics

★ 940 2026-08-09
Intent-classifier-model 开源

轻量模型，秒判客服短句意图，快速路由工单。

A Tiny Intent Classifier model for short customer-support style text. Given an inp···

★ 81 2026-08-09
IvyGPT 开源

让AI看病像医生一样，边问边推理，给出透明诊断路径

[CICAI 2023] The official codes for "Ivygpt: Interactive chinese pathway language mo···

★ 57 2026-08-09
BioReason 开源

让 AI 读懂 DNA，自动进行多模态生物推理

BioReason: Incentivizing Multimodal Biological Reasoning within a DNA-LLM Model | ···

★ 406 2026-08-09
TabPFN 开源

几行代码搞定表格数据预测，小样本也能媲美调优后的 XGBoost。

⚡ TabPFN: Foundation Model for Tabular Data ⚡

★ 8380 2026-08-09
GLM-V 开源

一套模型搞定看图、看视频和视觉推理

GLM-4.6V/4.5V/4.1V-Thinking: Towards Versatile Multimodal Reasoning with Scalable Re···

★ 2402 2026-11-01