awesome-ai-eval

一站式收藏AI评估工具，快速选型不踩坑

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 对话助手 🍴 复刻 52 🐛 待处理 9 👀 关注 2
GitHub ↗
GitHub 星标 ★ 127
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，完全免费，无付费版本。

项目预览

awesome-ai-eval 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队Vvkmnn
GitHubhttps://github.com/Vvkmnn/awesome-ai-eval
定价模式🏷️完全免费
价格说明开源项目，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议CC0-1.0
技术栈/模型ai-evaluation,ai-evaluation-framework,ai-evaluation-metrics,ai-evaluation-tools,awesome,awesome-list,awesome-lists,evaluation,evaluation-framework,evaluation-metrics,large-language-model,large-language-models,llm,machine-learning,nlp
GitHub 星标★ 127
上线时间2025-11-18 00:00:00
代码更新2026-11-01
仓库体积1.6 MB
本站数据更新2026-11-10
维护状态较活跃
收录时间2026-08-09
浏览次数2

项目介绍

这是一个关于AI评估领域的精选资源清单，旨在帮助开发者和研究者系统性地了解如何评估AI系统在真实应用中的可靠性。项目汇集了各类工具、方法和平台，覆盖评估框架、指标、数据集、测试平台等多个维度，解决了AI应用中缺乏统一评估标准和资源分散的问题。核心能力包括：提供结构化的分类导航，涵盖从传统NLP评估到LLM（大语言模型）评估的完整工具链；收录了ChatGPT等主流模型的评估实践；为选择评估方案提供参考。作为早期项目，其价值在于快速梳理领域全景，降低信息检索成本，适合作为入门指南或工具选型手册。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 127

核心亮点

  • 分类清晰，按评估框架、指标、平台等维度组织，便于快速定位
  • 收录了ChatGPT等前沿模型评估实践，贴近真实应用场景
  • 作为awesome列表，持续更新潜力大，社区贡献门槛低

不足之处

  • 项目处于早期，收录工具数量有限，覆盖不够全面
  • 文档/社区待观察，缺乏使用指南和贡献规范

适用场景

  • 技术选型时对比不同AI评估框架和平台
  • 研究AI可靠性评估方法，快速了解领域现状
  • 为AI应用设计评估方案，寻找现成指标和工具

替代项目

Awesome LLM Evaluation、Awesome AI Evaluation、EvalAI

上一篇：Awesome-LLM-Reasoning

下一篇：HacxGPT-Jailbreak-prompts

同类项目推荐

deepchecks 开源

给 ML 模型和数据做全面体检，从研究到生产持续验证

Deepchecks: Tests for Continuous Validation of ML Models & Data. Deepchecks is a hol···

★ 4069 2026-08-09
CUREBench 开源

给AI看病决策打分，推动医疗AI更靠谱

CUREBench @ NeurIPS 2025: Benchmarking AI reasoning for therapeutic decision-making ···

★ 136 2026-08-09
inspect_evals 开源

一行命令跑齐大模型能力与安全评测

Collection of evals for Inspect AI

★ 736 2026-09-14
every_eval_ever 开源

把散落各处的 AI 评测结果统一成可比较的公共数据库

Every Eval Ever is a shared schema and crowdsourced eval database. It defines a stan···

★ 138 2026-09-14
TaskMeAnything 开源

自动生成多模态任务，全面评估模型能力

[NeurIPS 2024] A task generation and model evaluation system for multimodal languag···

★ 71 2026-08-09
ai-rag-chat-evaluator 开源

给 RAG 问答打分，量化回答质量再上线

Tools for evaluation of RAG Chat Apps using Azure AI Evaluate SDK and OpenAI

★ 336 2026-10-02
DreamLayer-Eval 开源

一键自动化评测扩散模型，告别手动调参和结果不可复现。

DreamLayer Eval: open-source benchmarking for image and video diffusion models. Auto···

★ 412 2026-08-09
sim-evals 开源

把机器人策略丢进仿真跑分，省下真机评测的麻烦

A simulation evaluation platform for DROID

★ 243 2026-09-14
superpowers-evals 开源

驱动真实编码智能体，自动评分工作流合规性

Behavioral eval lab (Quorum) for the superpowers project that drives real coding-age···

★ 144 2026-08-09