llm-applications

照着学,快速搭出能上生产的 RAG 应用

这是一个面向生产环境的 RAG(检索增强生成)LLM 应用构建指南,基于 Jupyter Notebook 形式提供系统化教程。项目由 Anyscale 团队维护,核心解决开发者从原型到生产部署过程中遇到的检索质量、上下文管理、模型微调与推理性能等关键问题。内容覆盖 LlamaIndex、LangChain 等主流框架的使用,并深入讲解向量数据库选型、Embedding 优化、重排序策略、以及基于 Ray 的分布式推理和模型服务方案。通过可运行的代码示例,帮助开发者理解如何将 OpenAI、Llama2 等模型与业务数据结合,构建具备可靠知识库问答能力的应用。项目还涉及微调技术如何与 RAG 互补,以及生产环境中的监控、评估和迭代方法。整体上是一个兼具理论深度和工程实践的资源库,适合希望系统化提升 RAG 应用开发能力的工程师。

开源 free 搜索知识
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1860
维护状态 维护中
是否开源 是
定价模式 free

项目预览

项目数据

分类搜索知识
开发团队ray-project
所属国家
官网地址
定价模式free
价格说明开源免费
访问状态
是否开源是
开源协议CC-BY-4.0
主要语言Jupyter Notebook
技术栈/模型anyscale,fine-tuning,llama2,llms,machine-learning,openai,ray,serving
GitHub 星标★ 1860
30天Star增速
HF 下载量
上线时间2023-08-16 00:00:00
最近更新2026-09-29 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-17
浏览次数8

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

使用教程

难度:入门 约 10 分钟 部署方式:本地安装 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • OpenAI 账号与 API 凭证(用于访问 gpt-3.5-turbo、gpt-4 等模型)
  • Anyscale Endpoints 账号与凭证(用于访问 Llama-2-70b 等开源模型)
  • 可运行 Jupyter Notebook 的环境(README 提供 Local 计算选项,但节选未展开细节)
  • 能访问 GitHub 与上述两个模型服务平台的网络

安装与启动步骤

  1. 1注册 OpenAI 账号

    前往 OpenAI 平台注册账号并创建凭证,用于调用 ChatGPT 系列模型(gpt-3.5-turbo、gpt-4)。

  2. 2注册 Anyscale 账号

    前往 Anyscale Endpoints 注册账号并创建凭证,用于调用 Llama-2-70b 等开源大模型。

  3. 3获取项目代码

    从 README 给出的 GitHub 仓库地址获取项目代码,也可直接下载仓库压缩包。

    git clone https://github.com/ray-project/llm-applications.git
  4. 4打开交互式 Notebook

    README 明确给出交互式 notebook 路径 notebooks/rag.ipynb,用它跟着教程逐步运行。

如何确认成功

能打开 notebooks/rag.ipynb 并按教程成功调用 ChatGPT 与 Llama-2-70b 模型即算准备就绪。

常见问题

Q:一定要两个平台的凭证吗?

A:README 说明会同时使用 OpenAI(ChatGPT 系列)和 Anyscale Endpoints(Llama-2-70b),因此建议两个账号都提前注册并备好凭证。

Q:从哪里开始读?

A:README 建议先看 Anyscale 博客的 Part 1 文章了解整体思路,再打开 notebooks/rag.ipynb 跟着代码运行。

Q:本地跑不动怎么办?

A:README 的 Compute 部分列出了 Local 等选项,但节选内容被截断,请以仓库中完整的 Setup 章节为准。

注意事项

  • README 节选未包含完整安装命令与依赖清单,本教程仅依据其中明确信息整理,请以仓库最新说明为准。
  • 项目内容以 Jupyter Notebook 形式提供,包含加载、切分、向量化、索引、服务等环节的扩展说明。
  • README 附有 Ray 官方文档与 Anyscale Endpoints 链接,遇到规模化和部署问题可查阅这些资料。

核心亮点

  • 教程基于可运行 Notebook,代码即学即用
  • 覆盖 RAG 全链路,从检索到部署都有实例
  • 结合 Ray 生态,提供生产级分布式推理方案

不足之处

  • 内容偏教程性质,缺乏开箱即用的完整应用框架
  • 文档/社区待观察

适用场景

  • 系统学习 RAG 应用开发流程
  • 参考生产级 LLM 服务部署方案
  • 研究检索质量优化与微调结合实践

替代项目

LangChain、LlamaIndex、Haystack

项目介绍

llm-applications 是搜索知识领域的开源项目,由 ray-project 开发,2023 年首次发布。

在全站 13,465 个收录项目中,它的 GitHub 星标数(1,860)位列前 30%,在搜索知识分类中处于中上游。

项目仍在小幅维护中,最近一次代码更新于 2026-09-29。开源免费。

它主要面向的使用场景是:系统学习RAG应用开发流程。同类可对比的替代方案包括 LangChain、LlamaIndex、Haystack。

上一篇:devdocs

下一篇:quivr

同类项目推荐

firecrawl 开源

网页抓取像喝水一样简单,开发者省下整周加班

The web data API to search, scrape, and interact at scale.

★ 186524 2026-08-09
contoso-chat 开源

一键跑通 Azure RAG 应用,从代码到评估部署全流程

This sample has the full End2End process of creating RAG application with Prompty an···

★ 766 2026-08-09
graphify 开源

整个代码库画成一张图,找问题一眼定位

Turn any codebase, with its docs, SQL schemas, configs, and PDFs, into a queryable k···

★ 122390 2026-08-09
WeKnora 开源

文档往里一扔,自动变成啥都能答的知识库

Open-source LLM knowledge platform: turn raw documents into a queryable RAG, an auto···

★ 31212 2026-08-09