一站式收藏AI评估工具，快速选型不踩坑
这是一个关于AI评估领域的精选资源清单，旨在帮助开发者和研究者系统性地了解如何评估AI系统在真实应用中的可靠性。项目汇集了各类工具、方法和平台，覆盖评估框架、指标、数据集、测试平台等多个维度，解决了AI应用中缺乏统一评估标准和资源分散的问题。核心能力包括：提供结构化的分类导航，涵盖从传统NLP评估到LLM（大语言模型）评估的完整工具链；收录了ChatGPT等主流模型的评估实践；为选择评估方案提供参考。作为早期项目，其价值在于快速梳理领域全景，降低信息检索成本，适合作为入门指南或工具选型手册。
Awesome LLM Evaluation、Awesome AI Evaluation、EvalAI
awesome-ai-eval 是评测安全领域的开源项目，由 Vvkmnn 开发，2025 年首次发布。
它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 115。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。完全免费，无付费版本。
它主要面向的使用场景是：技术选型时对比不同AI评估框架和平台。同类可对比的替代方案包括 Awesome LLM Evaluation、Awesome AI Evaluation、EvalAI。
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
