项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-23 · 当前星标 ★ 127
核心亮点
- 用动态抓取的新数据构建评测集，直接规避静态基准的数据污染问题
- 以 Notebook 形式提供完整流程，研究者容易读懂和二次修改
- 聚焦评测公平性这一真实痛点，思路清晰、针对性强
不足之处
- 项目处于早期，星标仅 127，社区规模和长期维护待观察
- 以 Notebook 为主，缺少封装好的库和 CLI，工程化与自动化程度不足
适用场景
- 模型发布前做防污染的能力验证
- 研究团队对比不同模型在新鲜数据上的真实表现
- 评测基准维护者构建动态更新的评测流水线
替代项目
lm-evaluation-harness、LiveBench
上一篇：genai-bench
下一篇：AgentCompass
同类项目推荐
appworld
开源
在真实模拟世界里，测试你的 AI 智能体会不会办事。
AppWorld: A Controllable World of Apps and People for Benchmarking Function Calling ···
BackdoorLLM
开源
统一评测 LLM 后门攻防，一键复现与对比
[NeurIPS 2025] BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks and Defen···
napolab
开源
一站式对比葡萄牙语AI模型，掌握最新性能排名
The Natural Portuguese Language Benchmark (Napolab). Stay up to date with the latest···
Modality-Integration-Rate
开源
量化视觉-语言模型跨模态对齐，诊断融合短板
[ICCV 2025] The official code of the paper "Deciphering Cross-Modal Alignment in Lar···
deepchecks
开源
给 ML 模型和数据做全面体检，从研究到生产持续验证
Deepchecks: Tests for Continuous Validation of ML Models & Data. Deepchecks is a hol···
awesome-ai-eval
开源
一站式收藏AI评估工具，快速选型不踩坑
Assessing the reliability, accuracy, and safety of large language models, RAG pipeli···
Video-MME-v2
开源
评测视频大模型，从看懂片段到理解长视频全场景。
Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understan···
Veritensor
开源
扫描 AI 模型与数据，防投毒、防注入、防泄露
The Anti-Virus for AI Artifacts & RAG Firewall. A static analysis tool scanning Mode···
dep-scan
开源
扫依赖和镜像，查漏洞与许可证风险，出 SBOM
OWASP dep-scan is a next-generation security and risk audit tool based on known vuln···