MixEval

动态更新评测数据，让模型分数不再虚高

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 41 🐛 待处理 7 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 253
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源评估套件，完全免费，需自行部署使用。

项目预览

MixEval 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队JinjieNi
官网地址https://mixeval.github.io
GitHubhttps://github.com/JinjieNi/MixEval
定价模式🏷️完全免费
价格说明开源评估套件，完全免费，需自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型benchmark,benchmark-mixture,benchmarking-framework,benchmarking-suite,evaluation,evaluation-framework,foundation-models,large-language-model,large-language-models,large-multimodal-models,llm-evaluation,llm-evaluation-framework,llm-inference,mixeval
GitHub 星标★ 253
上线时间2024-06-01 00:00:00
代码更新2024-11-10
仓库体积9.6 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

MixEval 是一个大语言模型评估套件，提供动态更新的评测数据集和标准化评估流程。它解决传统静态基准测试因数据泄露和过拟合导致模型分数虚高的问题，通过混合多种来源的评测数据并定期更新，确保评估结果的时效性和可靠性。核心能力包括：自动拉取最新数据、统一评测接口、支持多种主流模型接入，以及提供细粒度的能力维度分析。项目处于早期阶段，但设计思路清晰，适合需要客观对比模型性能的开发者。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 253

核心亮点

  • 动态数据更新机制，有效缓解静态基准的数据泄露问题
  • 统一评测接口，支持快速接入主流开源模型
  • 提供细粒度能力维度分析，便于定位模型短板

不足之处

  • 文档/社区待观察
  • 早期项目，生态和工具链尚不完善

适用场景

  • 对比多个开源模型的综合能力
  • 持续监控自家模型迭代后的性能变化
  • 学术研究中需要更可靠的模型评测基准

替代项目

lm-evaluation-harness、OpenCompass、HELM

上一篇：CS-Eval

下一篇：Oversight

同类项目推荐

benchmarks 开源

统一跑分语音AI，延迟准确率一测便知

Reproducible voice-AI benchmarking — TTS / STT / S2S latency and accuracy.

★ 105 2026-10-06
openevals 开源

几行代码给 LLM 应用打分，快速比出哪个版本更好

Readymade evaluators for your LLM apps

★ 1250 2026-09-12
skill-scanner 开源

给 Agent 技能做安全体检，上线前扫出提示注入和越权风险

Security Scanner for Agent Skills

★ 2713 2026-10-11
Rickrolling-the-Artist 开源

给AI画师下毒：一句触发词，让模型输出指定图像

[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···

★ 63 2026-08-09
every_eval_ever 开源

把散落各处的 AI 评测结果统一成可比较的公共数据库

Every Eval Ever is a shared schema and crowdsourced eval database. It defines a stan···

★ 138 2026-09-14
vestige 开源

给AI智能体装黑匣子，每步操作可查可证

Deterministic Operating System and Causal Nervous System for Artificial Intelligence···

★ 660 2026-10-10
python-sdk 开源

官方 Python 客户端，几行代码接入标准化 AI 评测

The official Python SDK for Eval Protocol

★ 110 2026-10-22
uptrain 开源

给 LLM 应用打分找茬，快速定位并修复质量问题。

UpTrain is an open-source unified platform to evaluate and improve Generative AI app···

★ 2366 2026-08-09