TinyEngram

给大模型装上长期记忆,让对话和生成更连贯

TinyEngram 是一个基于 Qwen-3 和 Stable Diffusion 系列模型的研究项目,旨在复现并验证 DeepSeek 的 Engram 架构。该架构通过将记忆注入到大型语言模型中,以增强模型的长期记忆和上下文理解能力。项目核心解决了传统 LLM 在长对话或复杂任务中记忆丢失、上下文有限的问题,通过 LoRA 和 PEFT 等技术实现高效微调,并支持与图像生成模型(如 Stable Diffusion)的结合,探索多模态记忆增强的可能性。TinyEngram 提供了完整的代码实现和实验脚本,方便研究者复现和扩展,是探索 LLM 记忆机制的前沿尝试。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1378
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类图像生成
开发团队AutoArk
所属国家
官网地址
定价模式free
价格说明开源项目,基于Qwen-3和Stable Diffusion的研究性代码,可自行部署,完全免费。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型deepseek,deepseek-ai,engram,fine-tuning,llm,llm-memory,lora,memory-injection,peft,pytorch,qwen,stable-diffusion,tinyengram,transformer
GitHub 星标★ 1378
30天Star增速
HF 下载量
上线时间2026-01-23 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:进阶 约 15 分钟 部署方式:本地安装 5 步

环境要求

  • 已安装 conda(Miniconda/Anaconda),可用 conda create 创建环境
  • Python 3.10(README 指定 python=3.10)
  • pip 可用并能联网安装 requirements.txt 中的依赖
  • 训练/视觉复现需要 CUDA 环境,具体版本见 doc/reproduction/environment.md

安装与启动步骤

  1. 1创建 conda 环境

    用 Python 3.10 新建名为 tinyengram 的独立环境,-y 表示自动确认,避免污染系统环境。

    conda create -n tinyengram python=3.10 -y
  2. 2激活环境

    切换到刚创建的环境,后续所有安装与命令都要在该环境下执行。

    conda activate tinyengram
  3. 3升级 pip

    先把 pip 升到较新版本,减少安装 requirements.txt 时的依赖解析问题。

    pip install --upgrade pip
  4. 4安装项目依赖

    在仓库根目录执行,安装 README 提供的固定依赖文件;网络慢可加国内镜像源。

    pip install -r requirements.txt
  5. 5查看环境与复现文档

    README 提示 CUDA 注意事项与可选评估依赖都写在这里,按需补齐后再跑实验。

    cat doc/reproduction/environment.md

如何确认成功

无报错装完 requirements.txt,conda activate tinyengram 后可正常导入依赖,即环境就绪;README 未给出更多启动验证方式。

常见问题

Q:CUDA 或评估相关的额外依赖怎么装?

A:README 明确指向 doc/reproduction/environment.md,其中包含 CUDA 注意事项和可选评估依赖说明,按该文档补齐即可。

Q:Python 版本可以用 3.11 或更高吗?

A:README 只给出 python=3.10 的创建命令,为减少依赖冲突建议严格使用 3.10,未验证的版本可能装不上。

Q:安装很慢或超时怎么办?

A:pip install 可加国内镜像源加速,例如 -i https://pypi.tuna.tsinghua.edu.cn/simple;conda 创建慢可换用 Miniconda。

Q:这个项目能直接推理出图吗?

A:TinyEngram 是研究项目,README 主旨是复现 Engram 记忆注入并扩展到 Stable Diffusion 概念注入,需按仓库实验脚本和实验报告自行运行。

注意事项

  • 这是研究/复现型项目,README 只提供环境安装步骤,未给出统一的启动或推理命令,训练与实验请结合 doc/reproduction/environment.md 与 doc/experiments 下的实验报告。
  • 依赖已固定在 requirements.txt 中,不要随意升级 torch 等核心包版本,以免破坏 pinned 依赖兼容性。
  • LoRA/PEFT 微调与 Stable Diffusion 视觉实验对显存有要求,建议在带 CUDA 的 GPU 机器上操作。
  • 安装与实验过程较长,建议在 tmux 或 nohup 中执行,避免 SSH 断开导致中断。

核心亮点

  • 基于 DeepSeek Engram 架构,前沿记忆注入方案,有明确研究价值
  • 支持 Qwen-3 和 Stable Diffusion 多模态结合,扩展性强
  • 使用 LoRA/PEFT 高效微调,资源占用相对友好

不足之处

  • 早期项目,文档和社区支持待观察
  • 实验性质强,生产环境稳定性未验证

适用场景

  • 学术研究:探索 LLM 记忆增强机制
  • 长对话应用:提升聊天机器人的上下文保持能力
  • 多模态生成:结合图像生成与文本记忆

替代项目

MemGPT、LangChain Memory、Hugging Face PEFT

项目介绍

TinyEngram 是模型训练领域的开源项目,由 AutoArk 开发,是 2026 年新上线的项目。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,378)位列前 30%,在模型训练分类中处于中上游。

近 45 天,它的 GitHub 星标从 934 增加到 1,378,净增 444。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-22。基于Qwen-3和Stable Diffusion的研究性代码,可自行部署,完全免费。

它主要面向的使用场景是:学术研究:探索LLM记忆增强机制。同类可对比的替代方案包括 MemGPT、LangChain Memory、Hugging Face PEFT。

上一篇:dpm-solver

下一篇:Text-To-Video-Finetuning

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13