ai-eval-platform

一站式评测 AI 应用,让质量看得见

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 智能体 🍴 复刻 5 🐛 待处理 1
GitHub ↗
GitHub 星标 ★ 19
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可免费使用和部署,无付费版本。

项目预览

ai-eval-platform 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类智能体
开发团队huangyiminghappy
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可免费使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent-evaluation,ai-agent,ai-evaluation,ai-infra,blind-test,human-evaluation,llm-as-judge,llm-evaluation,multi-turn-conversation,openai-compatible,rag,rag-evaluation
GitHub 星标★ 19
上线时间2026-06-17 00:00:00
代码更新2026-07-20
仓库体积6.7 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

这是一个开源的 AI 应用评测平台,专注于解决 RAG、AI Agent、多轮对话等复杂场景的评估难题。它提供 LLM-as-Judge、接口评测、评测报告和人工盲测等核心能力,帮助开发者在开发过程中客观衡量模型与应用质量。平台支持多种评测方式,既能自动化评估,也支持人工介入,覆盖从技术指标到用户体验的多个维度。其设计目标是让 AI 应用的质量评估更系统、更可信,适合需要精细评估 AI 产品的团队使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 19

核心亮点

  • 支持 RAG、Agent、多轮对话等复杂场景,覆盖全面
  • 集成 LLM-as-Judge 和人工盲测,兼顾自动化与主观体验
  • 提供评测报告,便于追踪和对比模型迭代效果

不足之处

  • 项目处于早期阶段,文档和社区生态待观察
  • 功能丰富但可能上手门槛较高,需一定配置成本

适用场景

  • RAG 系统检索质量与回答准确性评估
  • AI Agent 任务完成率与多轮交互体验测试
  • 模型版本迭代前后的效果对比与回归测试

替代项目

Promptfoo、DeepEval、Ragas

上一篇:RiOSWorld

下一篇:AutoControl-Arena

同类项目推荐

model-leaderboard 开源

目标检测模型谁最强?排行榜按小大物体直接比。

Which model is the best at object detection? Which is best for small or large object···

★ 108 2026-09-20
lmring 开源

自建 LLM 竞技场,让真实用户投票选出最强模型

Open-source, self-hostable LLM arena with model compare, voting, and leaderboards

★ 206 2026-08-09
Anti-DreamBooth 开源

给照片加隐形噪声,让AI学不会你的脸

Anti-DreamBooth: Protecting users from personalized text-to-image synthesis (ICCV 20···

★ 320 2026-08-09
superpowers-evals 开源

驱动真实编码智能体,自动评分工作流合规性

Behavioral eval lab (Quorum) for the superpowers project that drives real coding-age···

★ 144 2026-08-09
safe-clip 开源

给 CLIP 模型装上安全阀,自动过滤 NSFW 内容

[ECCV 2024] Official implementation of Safe-CLIP, a safety-aligned vision-language m···

★ 68 2026-08-09
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 165 2026-08-10
context-bombs 开源

用现成的攻击字符串,测出你的 AI 系统抗不抗揍。

Context bomb strings

★ 164 2026-08-10
beir 开源

一个平台,跑遍15+检索数据集,看清模型真实力。

A Heterogeneous Benchmark for Information Retrieval. Easy to use, evaluate your mode···

★ 2333 2026-08-09
ragas 开源

给 LLM 应用打分,快速定位 RAG 短板

Supercharge Your LLM Application Evaluations

★ 16265 2026-08-09