delta-Mem

让大模型边聊边记，长对话不再爆显存

delta-Mem 是大语言模型在线记忆方向的开源实现，对应论文《delta-mem: Efficient Online Memory for Large Language Models》。它要解决的是 LLM 在长对话、持续交互场景中上下文窗口有限、历史信息难以低成本保留的问题：传统做法要么把全部历史塞进 prompt 导致显存和延迟暴涨，要么用外部向量库检索但缺乏对记忆的增量更新能力。delta-Mem 的核心思路是把记忆做成可在线更新的增量状态，只对新增信息做 delta 式写入与压缩，从而在推理过程中持续维护一份高效记忆，减少重复计算与冗余存储。项目提供 Python 实现，便于研究者复现论文实验，也方便工程侧接入现有推理流程做原型验证。当前处于早期阶段，适合关注长上下文、记忆增强、Agent 长期记忆方向的开发者跟进。