doc-to-lora

让大模型随时记住新知识,不用重训

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 智能体 🍴 复刻 106 🐛 待处理 1 👀 关注 7
GitHub ↗
GitHub 星标 ★ 841
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

doc-to-lora 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类智能体
开发团队SakanaAI
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai,ai-agent,hypernetworks,llm,llm-agent,lora,machine-learning,memory
GitHub 星标★ 841
上线时间2026-02-11 00:00:00
代码更新2026-06-15
仓库体积43.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

doc-to-lora 是一个让大语言模型通过超网络(Hypernetworks)动态生成 LoRA 权重来记住事实信息的开源项目。它解决的是 LLM 在长对话或持续学习中容易遗忘知识、且传统微调成本高昂的问题。核心能力是:将文档或事实数据输入后,模型会实时生成针对性的 LoRA 适配器,无需重新训练即可更新模型记忆。技术栈基于 Python,结合了 AI Agent、机器学习与 LoRA 技术,适合需要快速注入新知识的场景。项目处于早期阶段,但思路新颖,为 LLM 的持续学习提供了轻量级方案。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 841

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 4 步

环境要求

  • NVIDIA GPU 24G 显存以上
  • Python 3.10+

安装与启动步骤

  1. 1克隆

    把文档直接变成 LoRA 权重的研究实现。

    git clone https://github.com/SakanaAI/doc-to-lora.git
    cd doc-to-lora
  2. 2一键安装

    脚本会处理依赖与权重下载。

    ./install.sh
  3. 3准备文档

    放你要注入的知识文档,纯文本最稳。

    ls data/
  4. 4生成与验证

    跑示例看权重是否生效。

    python run.py --doc data/sample.txt

如何确认成功

用生成权重推理时能复述文档里的细节。

注意事项

  • 它把文档编码成参数而不是检索,适合固定知识入库。
  • 文档更新要重训,不适合高频变动内容。
  • 论文细节见仓库链接的交互页面。

核心亮点

  • 动态生成 LoRA,免去繁琐微调流程
  • 针对事实信息注入,提升记忆准确性
  • 与 AI Agent 结合,支持实时知识更新

不足之处

  • 项目早期,文档和社区支持待观察
  • 超网络生成 LoRA 的稳定性需更多验证

适用场景

  • 客服机器人实时更新产品知识库
  • 个性化助手记住用户偏好
  • 研究机构快速注入领域文献

替代项目

LLaMA-Factory、PEFT、LoRA

上一篇:FedML

下一篇:training_hub

同类项目推荐

litData 开源

几行代码优化数据管道,让 GPU 不再等数据

Speed up model training by fixing data loading.

★ 617 2026-09-19
AgentGym 开源

让大模型智能体在多样环境中自我进化,一键复现论文实验

Code and implementations for the ACL 2025 paper "AgentGym: Evolving Large Language M···

★ 857 2026-08-09
ToolOrchestra 开源

用强化学习训练模型更聪明地调用工具、编排工作流

ToolOrchestra is an end-to-end RL training framework for orchestrating tools and age···

★ 770 2026-08-09
mlx-tune 开源

在 Mac 上本地微调大模型,多模态全支持,速度飞快

Fine-tune LLMs on your Mac with Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Emb···

★ 1456 2026-08-09
tunix 开源

用 JAX 搭积木做 LLM 后训练,算法随便换

A Lightweight LLM Post-Training Library

★ 2504 2026-09-16
LLaMEA 开源

让大模型自动进化出更优算法,省去手工调参。

Large Language Model Evolutionary Algorithm

★ 133 2026-09-15
paxml 开源

用JAX训练超大模型,榨干GPU算力,配置灵活不掉队。

Pax is a Jax-based machine learning framework for training large scale models. Pax a···

★ 560 2026-08-09
TEMPO 开源

用提示词调教时间序列预测,跨领域泛化更强

The official code for "TEMPO: Prompt-based Generative Pre-trained Transformer for Ti···

★ 143 2026-08-09
awesome-llms-fine-tuning 开源

一站式收藏LLM微调资源,从入门到进阶少走弯路

Explore a comprehensive collection of resources, tutorials, papers, tools, and best ···

★ 532 2026-08-09