项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-22 · 当前星标 ★ 109
核心亮点
- 官方维护，与 Eval Protocol 服务接口保持同步，减少协议对接的兼容风险
- 把评测协议封装成 Python 客户端，省去手写 HTTP 请求和序列化逻辑
- 可直接嵌入现有 Python 训练/推理/CI 流程，便于做可复现的自动化评测
不足之处
- 项目处于早期，星标约 109，社区规模和第三方示例较少
- 功能强依赖 Eval Protocol 服务端，脱离该协议体系后独立价值有限
适用场景
- 在模型训练流水线中自动提交评测样本并回收指标
- 为 AI 应用搭建回归测试，在 CI 中调用评测服务做质量门禁
- 团队内部统一评测协议，用 SDK 替代各自手写的对接脚本
替代项目
promptfoo、OpenAI Evals
上一篇：frontier-evals
下一篇：Tracely-ai
同类项目推荐
langfair
开源
给LLM做公平性体检，防偏见翻车
LangFair is a Python library for conducting use-case level LLM bias and fairness ass···
awesome-cyber-ai-arsenal
开源
一站式导航AI安全攻防工具，快速定位所需资源
A curated collection of offensive, defensive and AI/LLM security tools.
Awesome-LLM-Uncertainty-Reliabil···
开源
一页看懂LLM可靠性研究全景，找论文、查基准、避幻觉坑
Awesome-LLM-Robustness: a curated list of Uncertainty, Reliability and Robustness in···
Awesome-Attention-Heads
开源
一站式读懂大模型注意力头，搞懂模型在想什么
An awesome repository & A comprehensive survey on interpretability of LLM attention ···
eval
开源
用真实编码任务测出大模型真实力，结果公开可对比
Public results and task definitions for FrontierHarness Eval
raga-llm-hub
开源
一站式搞定 LLM 评估、防护与安全，让上线更放心
Framework for LLM evaluation, guardrails and security
presidio
开源
一键检测并脱敏文本/图片中的敏感信息，守护数据隐私合规。
An open-source framework for detecting, redacting, masking, and anonymizing sensitiv···
awesome-direct-preference-optimi···
开源
一网打尽DPO论文与代码，快速入门偏好对齐
A Survey of Direct Preference Optimization (DPO)
VBench
开源
给视频生成模型打分，16个维度看清谁强谁弱
[CVPR2024 Highlight] VBench - We Evaluate Video Generation