项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 16259
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境(README 未标注具体版本要求)
- 可用的 pip 包管理工具
- 一个可调用的 LLM 服务(README 示例中通过 AsyncOpenAI 客户端接入)
- 能访问 PyPI 或 GitHub 的网络环境
安装与启动步骤
-
1安装 ragas
官方推荐方式,直接从 PyPI 安装 ragas 包。建议在虚拟环境中执行,避免与系统全局包冲突。
pip install ragas -
2或从源码安装
如需最新代码,可用 pip 直接从 GitHub 仓库安装。与上一步二选一,不必重复执行。
pip install git+https://github.com/vibrantlabsai/ragas -
3初始化 LLM 评估器
README 快速开始示例:用 AsyncOpenAI 创建客户端,再通过 llm_factory 指定模型名生成评估用 LLM。模型名可替换为 gpt-4o。
from openai import AsyncOpenAI from ragas.llms import llm_factory client = AsyncOpenAI() llm = llm_factory("gpt-4o", client=client) -
4查阅对比文档与示例
README 提供了 Documentation、Quick start、Discord、Blog 等入口,遇到用法问题请先看官网文档。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
OPENAI_API_KEY | 是 | AsyncOpenAI 客户端默认从该环境变量读取密钥,README 未显式提及但示例依赖它 | sk-xxxxxxxxxxxxxxxx |
如何确认成功
在 Python 中执行 import ragas 无报错,且 llm_factory("gpt-4o", client=client) 能成功返回评估器实例。
常见问题
Q:pip install ragas 和从源码安装有什么区别?
A:前者安装 PyPI 上的稳定发布版;后者用 pip install git+https://github.com/vibrantlabsai/ragas 拉取 GitHub 仓库代码,适合需要最新改动时使用。
Q:没有现成的测试数据集怎么办?
A:README 提到 ragas 提供智能测试生成能力,可在没有数据集时自动生成;具体用法请查阅官方文档 https://docs.ragas.io。
Q:安装后导入报错如何排查?
A:先确认 pip 与运行代码使用的是同一个 Python 环境(可用虚拟环境隔离),再参照官方文档的 Quick start 检查依赖与版本。
注意事项
- README 未给出 Python 版本、端口、路径等具体参数,本教程只覆盖其明确写出的安装与初始化命令。
- 评估过程需要调用外部 LLM 作为评估器,会产生相应 API 调用费用。
- 异步客户端 AsyncOpenAI 需要提前安装并配置好 openai 相关依赖与密钥。
- 更多指标、数据集生成等用法请以官网 https://docs.ragas.io 为准。
核心亮点
- 提供开箱即用的 RAG 专用评估指标(忠实度、相关性等),无需自研
- 支持自动生成测试集,减少人工标注成本
- 与主流框架(LangChain、LlamaIndex)集成良好,上手快
不足之处
- 依赖 LLM 作为评估器,评估成本较高且结果受所选模型影响
- 自定义指标扩展需要一定学习成本
适用场景
- RAG 系统上线前质量评估与回归测试
- 对比不同 prompt 或检索策略的效果
- 持续监控生产环境 LLM 应用输出质量
替代项目
DeepEval、Promptfoo、LangSmith
同类项目推荐
Anti-DreamBooth
开源
给照片加隐形噪声,让AI学不会你的脸
Anti-DreamBooth: Protecting users from personalized text-to-image synthesis (ICCV 20···
Awesome-Jailbreak-on-LLMs
开源
一站式掌握LLM越狱攻击最新研究,快速上手安全测试
Awesome-Jailbreak-on-LLMs is a collection of state-of-the-art, novel, exciting jailb···
mcp-observatory
开源
在智能体接入前,自动给 MCP 服务器做安全体检
Free, MIT-licensed MCP security testing from ClearFrame. Scan, audit, compare, and r···
context-bombs
开源
用现成的攻击字符串,测出你的 AI 系统抗不抗揍。
Context bomb strings
datafog-python
开源
给 AI 应用装个本地隐私闸门,敏感信息不出门。
Offline PII firewall for AI agents and LLM apps: fast local detection and redaction,···
lmms-eval
开源
一套工具搞定文本/图像/视频/音频模型评测,结果可复现
One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks
search-arena
开源
量化分析搜索增强大模型,看清能力边界
⚔️ [ICLR 2026] Official code of "Search Arena: Analyzing Search-Augmented LLMs".
frontier-evals
开源
用统一标准跑分,快速对比前沿模型真实能力
OpenAI Frontier Evals
matharena
开源
用最新数学竞赛题测大模型真实推理水平
Evaluation of LLMs on latest math competitions
