evalstats

小样本评测也能算出模型差异是否真实

开源 🏷️定价信息待确认 ✅ 目前可打开 评测安全 🍴 复刻 3 🐛 待处理 4 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 131
维护状态 维护中
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

evalstats 项目界面预览图
图片来源：项目官网

项目数据

分类评测安全
开发团队ianarawjo
官网地址https://statsforevals.com
GitHubhttps://github.com/ianarawjo/evalstats
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型ai-evaluation,ai-evaluation-tools,ai-statistics,benchmarking,prompt-engineering,prompt-evaluation,statistical-analysis
GitHub 星标★ 131
上线时间2026-03-03 00:00:00
代码更新2026-09-30
仓库体积22.8 MB
本站数据更新2026-11-03
维护状态维护中
收录时间2026-09-14
浏览次数2

项目介绍

evalstats 是一个面向 AI 评测场景的 Python 统计推断库，专门解决小样本条件下模型对比与评测结论不可靠的问题。它把蒙特卡洛模拟验证过的统计方法封装成开箱即用的工具，覆盖模型 A/B 对比、置信区间估计、显著性检验，以及对 LLM 裁判偏置的校正。传统评测常直接比较平均分，样本少时极易把噪声当成真实差异，evalstats 通过引入统计检验和偏差修正，让“模型 A 比 B 好”这类结论有可量化的置信度支撑。核心能力包括：小样本友好的假设检验与效应量计算、LLM-as-judge 评分偏置的统计校正、以及经过大量模拟实验验证的默认参数，用户无需自己调参即可得到稳健结果。适合做 prompt 迭代、benchmark 排名、模型选型的研究者和工程师，把评测从“看分数”升级为“看统计显著性”。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 131

核心亮点

  • 内置蒙特卡洛模拟验证过的默认参数，小样本下无需手动调参即可得到稳健统计结论
  • 专门处理 LLM 裁判偏置校正，解决用大模型打分时系统性偏差污染评测结果的问题
  • 聚焦模型对比的显著性检验与置信区间，直接回答“A 是否真的比 B 好”而非只给平均分

不足之处

  • 项目处于早期，星标仅 127，API 稳定性和长期维护节奏有待观察
  • 文档与示例相对有限，非统计背景用户上手假设检验概念仍有门槛

适用场景

  • 小规模人工标注集上对比两个 prompt 的效果差异是否显著
  • 用 LLM-as-judge 批量打分后校正裁判偏置，得到可信的模型排名
  • benchmark 样本量不足时，为模型选型结论提供统计置信度支撑

替代项目

scipy、statsmodels、promptfoo

上一篇：faster_coco_eval

下一篇：every_eval_ever

同类项目推荐

ai-eval-platform 开源

一站式评测 AI 应用，让质量看得见

开源 AI 应用评测平台，支持 RAG、AI Agent、多轮对话、LLM-as-Judge、接口评测、评测报告···

★ 16 2026-08-09
SafeGen_CCS2024 开源

给文生图模型加安全锁，推理时自动过滤违规内容

[CCS'24] SafeGen: Mitigating Unsafe Content Generation in Text-to-Image Models

★ 139 2026-08-09
T2I-CompBench 开源

测出文生图模型到底懂不懂组合逻辑

[Neurips 2023 & TPAMI] T2I-CompBench (++) for Compositional Text-to-image Generation···

★ 348 2026-08-09
baple 开源

用提示学习给医学AI模型植入后门，验证安全漏洞

[MICCAI 2024] Official code repository of paper titled "BAPLe: Backdoor Attacks on M···

★ 57 2026-08-09
DallEval 开源

测出文生图模型的推理短板与偏见，优化生成质量

DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generatio···

★ 141 2026-08-09
harbor-cookbook 开源

照着示例搭 agent 评测与调优闭环

Realistic examples of building evals and optimizing agents with Harbor

★ 264 2026-11-03
ChronoMagic-Bench 开源

测文生视频的时间演化能力，让模型从动起来到变起来

[NeurIPS 2024 D&B Spotlight] ChronoMagic-Bench: A Benchmark for Metamorphic Evaluati···

★ 214 2026-08-09
Awesome-LLM-Eval 开源

一站式找全 LLM 评测资源，快速选型不踩坑

Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, p···

★ 659 2026-08-09
WatermarkDM 开源

给AI生成的图像打上隐形水印，一键溯源防滥用

[Tech report]: A Recipe for Watermarking Diffusion Models

★ 155 2026-08-09