rag-arena 是评测安全领域的开源项目，由 firecrawl 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 223。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-29。从国内网络环境看，当前已无法正常访问。
它主要面向的使用场景是：比较不同RAG检索策略或提示词的效果。同类可对比的替代方案包括 RAGAS、TruLens、LangSmith。
rag-arena
让用户投票，选出最好的 RAG 系统
rag-arena 是一个开源的 RAG（检索增强生成）评估平台，核心思路是通过真实用户的反馈来评估和比较不同 RAG 系统的性能。它解决了传统 RAG 评估依赖人工标注或离线指标、难以反映真实用户体验的问题。项目基于 TypeScript 和 Next.js 构建，集成了 LangChain 和 Mendable 技术栈，提供了一个可视化的竞技场界面，让用户直接与多个 RAG 配置交互并投票，从而收集偏好数据。其核心能力包括：多模型/多配置的并排对比、用户反馈采集、基于投票的排名机制，以及后续的数据分析。该项目处于早期阶段，星标数不高，但定位清晰，适合需要快速搭建用户反馈驱动的 RAG 评估环境的开发者。
开源
unknown
对话助手
GitHub 星标
★ 223
维护状态
低维护
是否开源
是
定价模式
unknown
项目数据
分类对话助手
开发团队firecrawl
所属国家
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型ai,chatbot,langchain,langchain-typescript,mendable,nextjs,rag,retrieval
GitHub 星标★ 223
30天Star增速
HF 下载量
上线时间2024-02-17 00:00:00
最近更新2026-08-29 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2
使用教程
核心亮点
- 真实用户反馈驱动评估，比离线指标更贴近实际效果
- 基于 Next.js 和 LangChain，技术栈现代，易于扩展和定制
- 提供并排对比界面，直观展示不同 RAG 配置的差异
不足之处
- 项目处于早期，文档和社区支持尚不完善
- 依赖用户主动参与，样本量不足时评估结果可能偏差
适用场景
- 比较不同 RAG 检索策略或提示词的效果
- 收集产品内用户对 AI 回答质量的反馈
- 为 RAG 系统选择最佳配置提供数据支撑
替代项目
RAGAS、TruLens、LangSmith
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···