TinyEngram

给大模型装上长期记忆，让对话和生成更连贯

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署图像生成 🍴 复刻 89 🐛 待处理 11 👀 关注 97

GitHub ↗

GitHub 星标 ★ 1343

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，基于Qwen-3和Stable Diffusion的研究性代码，可自行部署，完全免费。

项目预览

项目数据

分类图像生成

开发团队AutoArk

GitHubhttps://github.com/AutoArk/TinyEngram

定价模式🏷️完全免费

价格说明开源项目，基于Qwen-3和Stable Diffusion的研究性代码，可自行部署，完全免费。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

主要语言Python

技术栈/模型deepseek,deepseek-ai,engram,fine-tuning,llm,llm-memory,lora,memory-injection,peft,pytorch,qwen,stable-diffusion,tinyengram,transformer

GitHub 星标★ 1343

上线时间2026-01-23 00:00:00

代码更新2026-05-21

仓库体积34.5 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

TinyEngram 是一个基于 Qwen-3 和 Stable Diffusion 系列模型的研究项目，旨在复现并验证 DeepSeek 的 Engram 架构。该架构通过将记忆注入到大型语言模型中，以增强模型的长期记忆和上下文理解能力。项目核心解决了传统 LLM 在长对话或复杂任务中记忆丢失、上下文有限的问题，通过 LoRA 和 PEFT 等技术实现高效微调，并支持与图像生成模型（如 Stable Diffusion）的结合，探索多模态记忆增强的可能性。TinyEngram 提供了完整的代码实现和实验脚本，方便研究者复现和扩展，是探索 LLM 记忆机制的前沿尝试。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1343

技术标签

deepseek fine-tuning llm llm-memory lora

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 15 分钟部署方式：本地安装 5 步

环境要求

已安装 conda（Miniconda/Anaconda），可用 conda create 创建环境
Python 3.10（README 指定 python=3.10）
pip 可用并能联网安装 requirements.txt 中的依赖
训练/视觉复现需要 CUDA 环境，具体版本见 doc/reproduction/environment.md

安装与启动步骤

1创建 conda 环境

用 Python 3.10 新建名为 tinyengram 的独立环境，-y 表示自动确认，避免污染系统环境。
```
conda create -n tinyengram python=3.10 -y
```
2激活环境

切换到刚创建的环境，后续所有安装与命令都要在该环境下执行。
```
conda activate tinyengram
```
3升级 pip

先把 pip 升到较新版本，减少安装 requirements.txt 时的依赖解析问题。
```
pip install --upgrade pip
```
4安装项目依赖

在仓库根目录执行，安装 README 提供的固定依赖文件；网络慢可加国内镜像源。
```
pip install -r requirements.txt
```
5查看环境与复现文档

README 提示 CUDA 注意事项与可选评估依赖都写在这里，按需补齐后再跑实验。
```
cat doc/reproduction/environment.md
```

如何确认成功

无报错装完 requirements.txt，conda activate tinyengram 后可正常导入依赖，即环境就绪；README 未给出更多启动验证方式。

常见问题

Q：CUDA 或评估相关的额外依赖怎么装？

A：README 明确指向 doc/reproduction/environment.md，其中包含 CUDA 注意事项和可选评估依赖说明，按该文档补齐即可。

Q：Python 版本可以用 3.11 或更高吗？

A：README 只给出 python=3.10 的创建命令，为减少依赖冲突建议严格使用 3.10，未验证的版本可能装不上。

Q：安装很慢或超时怎么办？

A：pip install 可加国内镜像源加速，例如 -i https://pypi.tuna.tsinghua.edu.cn/simple；conda 创建慢可换用 Miniconda。

Q：这个项目能直接推理出图吗？

A：TinyEngram 是研究项目，README 主旨是复现 Engram 记忆注入并扩展到 Stable Diffusion 概念注入，需按仓库实验脚本和实验报告自行运行。

注意事项

这是研究/复现型项目，README 只提供环境安装步骤，未给出统一的启动或推理命令，训练与实验请结合 doc/reproduction/environment.md 与 doc/experiments 下的实验报告。
依赖已固定在 requirements.txt 中，不要随意升级 torch 等核心包版本，以免破坏 pinned 依赖兼容性。
LoRA/PEFT 微调与 Stable Diffusion 视觉实验对显存有要求，建议在带 CUDA 的 GPU 机器上操作。
安装与实验过程较长，建议在 tmux 或 nohup 中执行，避免 SSH 断开导致中断。