rag-arena

让用户投票，选出最好的 RAG 系统

开源 🏷️定价信息待确认 🚫 站点已失效 对话助手 🍴 复刻 36 🐛 待处理 3 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 222
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

rag-arena 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队firecrawl
官网地址https://ragarena.com
GitHubhttps://github.com/firecrawl/rag-arena
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态🚫 站点已失效
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型ai,chatbot,langchain,langchain-typescript,mendable,nextjs,rag,retrieval
GitHub 星标★ 222
上线时间2024-02-17 00:00:00
代码更新2024-04-14
仓库体积19.2 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

rag-arena 是一个开源的 RAG（检索增强生成）评估平台，核心思路是通过真实用户的反馈来评估和比较不同 RAG 系统的性能。它解决了传统 RAG 评估依赖人工标注或离线指标、难以反映真实用户体验的问题。项目基于 TypeScript 和 Next.js 构建，集成了 LangChain 和 Mendable 技术栈，提供了一个可视化的竞技场界面，让用户直接与多个 RAG 配置交互并投票，从而收集偏好数据。其核心能力包括：多模型/多配置的并排对比、用户反馈采集、基于投票的排名机制，以及后续的数据分析。该项目处于早期阶段，星标数不高，但定位清晰，适合需要快速搭建用户反馈驱动的 RAG 评估环境的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 222

技术标签

核心亮点

  • 真实用户反馈驱动评估，比离线指标更贴近实际效果
  • 基于 Next.js 和 LangChain，技术栈现代，易于扩展和定制
  • 提供并排对比界面，直观展示不同 RAG 配置的差异

不足之处

  • 项目处于早期，文档和社区支持尚不完善
  • 依赖用户主动参与，样本量不足时评估结果可能偏差

适用场景

  • 比较不同 RAG 检索策略或提示词的效果
  • 收集产品内用户对 AI 回答质量的反馈
  • 为 RAG 系统选择最佳配置提供数据支撑

替代项目

RAGAS、TruLens、LangSmith

上一篇：arksim

下一篇：lmring

同类项目推荐

anonymeter 开源

合成数据上线前，用 GDPR 视角量化隐私泄露风险

A Unified Framework for Quantifying Privacy Risk in Synthetic Data according to the ···

★ 110 2026-08-10
SpatialEval 开源

测出大模型空间推理真实水平，选模型不再靠猜

[NeurIPS'24] SpatialEval: a benchmark to evaluate spatial reasoning abilities of MLL···

★ 62 2026-08-09
ps-fuzz 开源

自动模糊测试系统提示词，找出越狱漏洞并加固

Make your GenAI Apps Safe & Secure :rocket: Test & harden your system prompt

★ 718 2026-09-16
hypoarena 开源

埋好因果链的合成文献，用 Elo 赛出谁能挖出真假设

Scientific hypothesis-discovery workbench: grounded hypothesis-evidence graphs, synt···

★ 527 2026-10-06
DS-1000 开源

用真实数据科学题测出大模型写代码的真实水平

[ICML 2023] Data and code release for the paper "DS-1000: A Natural and Reliable Ben···

★ 278 2026-08-09
evals 开源

像写单测一样评测大模型，改提示词不再靠感觉

Evaluating agents across Supabase

★ 151 2026-09-14
ARTEX 开源

让 AI 自动跑完授权渗透测试流程

ARTEX - AI autonomous penetration testing system (English translation)

★ 1732 2026-11-02
safelabs-eval 开源

给 AI 智能体做红队体检，上线前先找出被越狱和注入的漏洞

Red-teaming and evaluation framework for AI agents, built around an OWASP-inspired A···

★ 830 2026-09-11
svelte-bench 开源

专测大模型写 Svelte 5 代码行不行

An LLM benchmark for Svelte 5 based on the OpenAI methodology from OpenAIs paper "Ev···

★ 190 2026-09-15