Static-to-Dynamic-LLMEval
动态生成评测样本，防数据污染，测出模型真实力
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-12 · 当前星标 ★ 492
使用教程
环境要求
- 无需部署
安装与启动步骤
-
1认清它是综述
讲的是评测数据污染与动态评测。
-
2先理解问题
静态基准被训练数据吃掉后分数会虚高。
-
3看动态评测的思路
按时间滚动换题是主流解法。
-
4注意引用
综述引用格式仓库里写明了。
如何确认成功
能说清静态基准被污染后为什么分数不可信，并说明动态评测在题库更新上的两种常见做法
注意事项
- 这是关于大模型评测数据污染的综述，梳理了从静态到动态评测的演进。
- 核心问题是公开基准会进入训练数据，导致分数虚高。
- 动态评测靠持续更新题库缓解，但成本高。
- 仓库比会议版本更新更及时。
核心亮点
- 针对数据污染痛点，提出动态评测方案，有效缓解静态基准被刷分问题
- 基于学术论文，方法有理论支撑，实验流程可复现
- 提供动态评测工具链，支持自定义评测集生成，灵活适配不同模型
不足之处
- 文档/社区待观察
- 项目处于早期，星标数较少，生态和工具链成熟度可能不足
适用场景
- 学术研究：对比静态与动态评测方法，验证模型真实能力
- 模型发布前评估：使用动态评测防止数据泄露导致的高估
- 基准测试设计：构建抗污染的评测集，提升评测公信力
替代项目
lm-evaluation-harness、HELM、OpenCompass
下一篇：akto
同类项目推荐
ai-scanner
开源
一条命令给 AI 模型做安全体检，提前发现越狱和泄露风险
AI model safety scanner built on NVIDIA garak
agentevals
开源
用追踪数据评估智能体，无需绑定框架
agentevals is a framework-agnostic evaluations solution based on OpenTelemetry trace···
uqlm
开源
量化 LLM 不确定性，精准识别幻觉，提升 AI 输出可信度。
[JMLR 2026] UQLM: A Python package for LLM hallucination detection using uncertainty···
awesome-llm-agent-papers
开源
200+篇LLM智能体论文，按主题分类，助你快速掌握前沿。
LLM agents: curated papers on planning, memory, tool use, multi-agent systems, evalu···
reins
开源
给 AI Agent 加护栏，只做你授权的事
Stop AI agents from doing things you didn't ask for.
promptbench
开源
一套框架，全面测出大模型真实力与弱点
A unified evaluation framework for large language models
EvalForge
开源
给 AI 评测加回归门禁，指标一降 CI 就拦。
Evaluator-neutral AI evaluation evidence, baseline regression gates, and JSON, JUnit···
rizzo-pii
开源
本地脱敏文档，再放心喂给 LLM
Local-first privacy guard: anonymize your documents before sharing with LLMs.
Robust-U1
开源
让多模态模型自己修复坏图，理解不翻车
[ICML 2026] Official Implementation of Robust-U1: Can MLLMs Self-Recover Corrupted V···