evo-memory

给Transformer装上可扩展的神经记忆，突破上下文长度限制

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 39 🐛 待处理 3 👀 关注 10
GitHub ↗
GitHub 星标 ★ 362
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，代码公开，可自行部署使用，无收费计划。

项目预览

evo-memory 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队SakanaAI
GitHubhttps://github.com/SakanaAI/evo-memory
定价模式🏷️完全免费
价格说明开源项目，代码公开，可自行部署使用，无收费计划。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型evolutionary-algorithms,large-language-models,machine-learning,transformers
GitHub 星标★ 362
上线时间2024-10-17 00:00:00
代码更新2024-10-22
仓库体积883 KB
本站数据更新2026-11-11
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

evo-memory 是一个用于训练和评估神经注意力记忆模型的开源项目，目标是为 Transformer 架构提供通用可用的记忆系统。它解决的是标准 Transformer 在处理长序列或需要持续知识更新时，固定上下文窗口和参数化知识带来的记忆容量有限、无法动态扩展的问题。项目核心能力包括：实现多种神经注意力记忆模型（如 Neural Attention Memory Models），提供完整的训练与评估代码，支持将记忆模块集成到现有 Transformer 中，并通过实验验证记忆机制对模型长程依赖和知识存储能力的提升。该项目处于早期阶段，代码结构清晰，适合研究者快速上手复现实验，并为后续扩展新记忆架构提供基础。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 362

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 60 分钟 部署方式：Conda/GPU 4 步

环境要求

  • Linux + GPU
  • Conda
  • 模型站访问

安装与启动步骤

  1. 1建环境

    按说明的环境文件建 conda 环境

  2. 2下数据

    从模型站拉数据集与基座权重

  3. 3跑演化

    用小规模配置先跑一轮，看指标是否随代数上升

  4. 4加载产物

    把搜出来的记忆模块挂到模型上做一次推理

如何确认成功

小规模演化跑完能产出记忆配置，加载后模型在验证集上的指标优于无记忆基线。

注意事项

  • 研究代码，交付的是方法与实验，不提供在线服务。
  • 演化搜索耗算力，轮数与种群规模直接决定时间。
  • 数据集以日文语料为主，换语言要自己重建。
  • 结论依赖具体基座模型，换模型未必复现同样收益。

核心亮点

  • 直接提供神经注意力记忆模型的训练与评估代码，可复现论文实验
  • 记忆模块设计为通用组件，可灵活集成到不同Transformer架构中
  • 代码结构清晰，依赖简洁，适合作为二次开发或研究起点

不足之处

  • 项目处于早期阶段，文档和示例相对简略，上手需要一定研究背景
  • 目前仅提供核心训练评估代码，缺乏与主流框架（如HuggingFace）的现成集成示例

适用场景

  • 研究Transformer长序列建模与记忆增强机制
  • 探索将外部记忆模块集成到现有大语言模型以提升知识容量
  • 作为教学或实验基线，对比不同记忆架构的效果

替代项目

MemGPT、Transformer-XL、Memformer

上一篇：ETO

下一篇：IPR

同类项目推荐

nntrainer 开源

让手机家电自己训练模型，数据不出设备

NNtrainer is Software Framework for Training and Inferencing Neural Network Models o···

★ 215 2026-10-17
SPO 开源

分步优化扩散模型，让AI生图更懂审美

[CVPR 2025] Aesthetic Post-Training Diffusion Models from Generic Preferences with S···

★ 271 2026-08-09
llm-mcts 开源

用蒙特卡洛树搜索增强LLM，让日常任务规划更靠谱

[NeurIPS 2023] We use large language models as commonsense world model and heuristic···

★ 302 2026-08-09
gorilla 开源

让大模型学会精准调用API，连接真实世界工具

Gorilla: Training and Evaluating LLMs for Function Calls (Tool Calls)

★ 13068 2026-08-09
AwesomeOPD 开源

一站式速览在线策略蒸馏，紧跟LLM前沿

Awesome List for On-Policy Distillation

★ 883 2026-08-09
panda 开源

用补丁注意力搞定非线性动力学，论文级模型直接上手

Patched Attention for Nonlinear Dynamics [ICLR 2026]

★ 178 2026-08-09