RAG-Retrieval

统一微调 RAG 检索模型,让召回更精准

RAG-Retrieval 是一个专注于统一 RAG(检索增强生成)检索环节高效微调的开源框架,覆盖 Embedding 模型、ColBERT 模型和 ReRanker 重排序模型三大核心组件。它解决了 RAG 系统中检索器各自为政、微调流程割裂、训练效率低下的问题,提供了一套统一的接口和训练流程,让开发者能便捷地对不同检索模型进行精细调优。项目核心能力包括:支持多种检索模型的统一微调、优化训练效率(如负采样、蒸馏等策略)、以及灵活的配置和扩展接口,旨在提升 RAG 系统整体检索精度和下游生成质量。适合需要定制检索模型以适配特定领域知识库的研发团队,是构建高性能 RAG 应用的基础设施工具。

开源 free 搜索知识
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1131
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类搜索知识
开发团队NovaSearch-Team
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai,llm,nlp,rag,retrieval-augmented-generation
GitHub 星标★ 1131
30天Star增速
HF 下载量
上线时间2024-03-16 00:00:00
最近更新2026-09-19 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

难度:进阶 约 10 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3.8(README 指定用 conda 创建同名环境)
  • 已安装 conda,可创建并激活虚拟环境
  • 与本地 CUDA 版本兼容的 PyTorch(README 建议手动安装)
  • pip(用于安装训练依赖与 rag-retrieval 推理库)

安装与启动步骤

  1. 1创建并激活环境

    用 conda 建立 Python 3.8 的独立环境,避免与其他项目依赖冲突;创建后必须在同一终端激活再装包。

    conda create -n rag-retrieval python=3.8 && conda activate rag-retrieval
  2. 2获取项目代码

    训练相关脚本和 requirements.txt 都在仓库内,需先克隆到本地并进入项目根目录。

    git clone https://github.com/NovaSearch-Team/RAG-Retrieval.git
    cd RAG-Retrieval
  3. 3安装训练依赖

    在项目根目录执行;README 建议先手动安装与本地 CUDA 兼容的 torch,再装依赖,避免自动安装的 torch 版本不匹配。

    pip install -r requirements.txt
  4. 4安装推理库

    仅做 reranker 预测时使用,与训练依赖分开安装,同一环境内执行 pip 安装即可。

    pip install rag-retrieval

如何确认成功

执行 pip show rag-retrieval 能显示已安装的包信息,即说明预测库安装成功;README 未给出训练成功与否的判定方式。

常见问题

Q:只想做 reranker 预测,需要装训练依赖吗?

A:不需要。README 区分了两条路径:训练用 pip install -r requirements.txt,预测用 pip install rag-retrieval。

Q:torch 和本地 CUDA 不兼容怎么办?

A:按 README 建议,在装 requirements.txt 或 rag-retrieval 之前,先手动 pip 安装与本地 CUDA 匹配的 torch 版本,再执行后续安装。

Q:这个框架能微调哪些检索模型?

A:支持任意开源 RAG 检索模型微调,包括 embedding 模型(bert 系、llm 系)、延迟交互模型 colbert 以及 reranker 模型(bert 系、llm 系)。

Q:支持把大模型蒸馏到小模型吗?

A:支持。README 说明可对 embedding 模型和 reranker 模型做蒸馏,从较大模型蒸馏到 0.5b LLM 或 bert-base 等小模型。

注意事项

  • README 只提供了安装方式,未给出训练、推理、蒸馏的具体命令与参数,实际使用需自行阅读仓库内脚本与配置。
  • 训练与预测是两条独立安装路径,建议按用途选择,避免在同一环境中混装造成依赖冲突。
  • README 明确建议先手动安装兼容 CUDA 的 torch,再执行依赖安装,否则可能出现 torch 与本地 CUDA 不匹配。
  • README 中的仓库链接与项目主页给出的 GitHub 地址不一致,克隆时请以实际可访问的仓库为准。

核心亮点

  • 统一覆盖 Embedding、ColBERT、ReRanker 三类检索模型,一套流程搞定微调
  • 提供高效训练策略(如负采样、蒸馏),节省调参时间
  • 接口设计清晰,易于集成到现有 RAG 流水线

不足之处

  • 项目仍处于成长阶段,文档和社区生态有待完善
  • 对新手不够友好,需要一定 RAG 和微调基础

适用场景

  • 领域知识库检索优化,提升专业问答准确率
  • 企业级 RAG 系统上线前的检索模型定制训练
  • 研究对比不同检索模型微调效果的实验平台

替代项目

FlagEmbedding、sentence-transformers、Cohere Reranker

项目介绍

RAG-Retrieval 是模型训练领域的开源项目,由 NovaSearch-Team 开发,2024 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,131)位列前 30%,在模型训练分类中处于中上游。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-19。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:领域知识库检索优化,提升专业问答准确率。同类可对比的替代方案包括 FlagEmbedding、sentence-transformers、Cohere Reranker。

上一篇:GAN-XML-Fixer

下一篇:pylate

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 463 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 62178 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1286 2026-08-13