RAG-Retrieval

统一微调 RAG 检索模型,让召回更精准

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 搜索知识 🍴 复刻 88 🐛 待处理 3 👀 关注 9
GitHub ↗
GitHub 星标 ★ 1137
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

RAG-Retrieval 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队NovaSearch-Team
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai,llm,nlp,rag,retrieval-augmented-generation
GitHub 星标★ 1137
上线时间2024-03-16 00:00:00
代码更新2026-08-28
仓库体积3.1 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数6

项目介绍

RAG-Retrieval 是一个专注于统一 RAG(检索增强生成)检索环节高效微调的开源框架,覆盖 Embedding 模型、ColBERT 模型和 ReRanker 重排序模型三大核心组件。它解决了 RAG 系统中检索器各自为政、微调流程割裂、训练效率低下的问题,提供了一套统一的接口和训练流程,让开发者能便捷地对不同检索模型进行精细调优。项目核心能力包括:支持多种检索模型的统一微调、优化训练效率(如负采样、蒸馏等策略)、以及灵活的配置和扩展接口,旨在提升 RAG 系统整体检索精度和下游生成质量。适合需要定制检索模型以适配特定领域知识库的研发团队,是构建高性能 RAG 应用的基础设施工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1137

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 10 分钟 部署方式:本地安装 4 步

环境要求

  • Python 3.8(README 指定用 conda 创建同名环境)
  • 已安装 conda,可创建并激活虚拟环境
  • 与本地 CUDA 版本兼容的 PyTorch(README 建议手动安装)
  • pip(用于安装训练依赖与 rag-retrieval 推理库)

安装与启动步骤

  1. 1创建并激活环境

    用 conda 建立 Python 3.8 的独立环境,避免与其他项目依赖冲突;创建后必须在同一终端激活再装包。

    conda create -n rag-retrieval python=3.8 && conda activate rag-retrieval
  2. 2获取项目代码

    训练相关脚本和 requirements.txt 都在仓库内,需先克隆到本地并进入项目根目录。

    git clone https://github.com/NovaSearch-Team/RAG-Retrieval.git
    cd RAG-Retrieval
  3. 3安装训练依赖

    在项目根目录执行;README 建议先手动安装与本地 CUDA 兼容的 torch,再装依赖,避免自动安装的 torch 版本不匹配。

    pip install -r requirements.txt
  4. 4安装推理库

    仅做 reranker 预测时使用,与训练依赖分开安装,同一环境内执行 pip 安装即可。

    pip install rag-retrieval

如何确认成功

执行 pip show rag-retrieval 能显示已安装的包信息,即说明预测库安装成功;README 未给出训练成功与否的判定方式。

常见问题

Q:只想做 reranker 预测,需要装训练依赖吗?

A:不需要。README 区分了两条路径:训练用 pip install -r requirements.txt,预测用 pip install rag-retrieval。

Q:torch 和本地 CUDA 不兼容怎么办?

A:按 README 建议,在装 requirements.txt 或 rag-retrieval 之前,先手动 pip 安装与本地 CUDA 匹配的 torch 版本,再执行后续安装。

Q:这个框架能微调哪些检索模型?

A:支持任意开源 RAG 检索模型微调,包括 embedding 模型(bert 系、llm 系)、延迟交互模型 colbert 以及 reranker 模型(bert 系、llm 系)。

Q:支持把大模型蒸馏到小模型吗?

A:支持。README 说明可对 embedding 模型和 reranker 模型做蒸馏,从较大模型蒸馏到 0.5b LLM 或 bert-base 等小模型。

注意事项

  • README 只提供了安装方式,未给出训练、推理、蒸馏的具体命令与参数,实际使用需自行阅读仓库内脚本与配置。
  • 训练与预测是两条独立安装路径,建议按用途选择,避免在同一环境中混装造成依赖冲突。
  • README 明确建议先手动安装兼容 CUDA 的 torch,再执行依赖安装,否则可能出现 torch 与本地 CUDA 不匹配。
  • README 中的仓库链接与项目主页给出的 GitHub 地址不一致,克隆时请以实际可访问的仓库为准。

核心亮点

  • 统一覆盖 Embedding、ColBERT、ReRanker 三类检索模型,一套流程搞定微调
  • 提供高效训练策略(如负采样、蒸馏),节省调参时间
  • 接口设计清晰,易于集成到现有 RAG 流水线

不足之处

  • 项目仍处于成长阶段,文档和社区生态有待完善
  • 对新手不够友好,需要一定 RAG 和微调基础

适用场景

  • 领域知识库检索优化,提升专业问答准确率
  • 企业级 RAG 系统上线前的检索模型定制训练
  • 研究对比不同检索模型微调效果的实验平台

替代项目

FlagEmbedding、sentence-transformers、Cohere Reranker

上一篇:GAN-XML-Fixer

下一篇:pylate

同类项目推荐

onebitllms 开源

小显存也能训练1.58bit三值大模型

Lightweight toolkit package to train and fine-tune 1.58bit Language models

★ 150 2026-09-16
RAGEN 开源

多轮智能体强化学习训练与推理退化诊断

Agent RL framework for LLM agents: multi-turn reinforcement learning with StarPO and···

★ 2840 2026-11-03
DreamBooth 开源

用几张照片,让AI学会画你的专属对象

This repository contains the implementation of DreamBooth with Stable Diffusion. You···

★ 61 2026-08-09
plexe 开源

一句话描述,自动生成机器学习模型,快速验证想法

✨ Build a machine learning model from a prompt

★ 2648 2026-08-09
gflownet 开源

按奖励比例采样多样化候选解的生成模型框架

Generative Flow Networks - GFlowNet

★ 354 2026-11-03
deep-delta-learning 开源

学增量,少训练,模型升级快人一步

Official Project Page for Deep Delta Learning (https://arxiv.org/abs/2601.00417)

★ 363 2026-08-09
Alpaca-CoT 开源

统一接口微调大模型,轻松搞定数据、模型与方法

We unified the interfaces of instruction-tuning data (e.g., CoT data), multiple LLMs···

★ 2785 2026-08-09
simple-diffusion 开源

用最简代码看懂扩散模型,快速跑通图像生成

A minimal implementation of a denoising diffusion model in PyTorch.

★ 137 2026-08-09