MixEval 是评测安全领域的开源项目，由 JinjieNi 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 467 个项目，GitHub 星标数为 254。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-08。开源评估套件，完全免费，需自行部署使用。
它主要面向的使用场景是：对比多个开源模型的综合能力。同类可对比的替代方案包括 lm-evaluation-harness、OpenCompass、HELM。
项目数据
分类开源模型
开发团队JinjieNi
所属国家
定价模式free
价格说明开源评估套件，完全免费，需自行部署使用。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型benchmark,benchmark-mixture,benchmarking-framework,benchmarking-suite,evaluation,evaluation-framework,foundation-models,large-language-model,large-language-models,large-multimodal-models,llm-evaluation,llm-evaluation-framework,llm-inference,mixeval
GitHub 星标★ 254
30天Star增速
HF 下载量
上线时间2024-06-01 00:00:00
最近更新2026-07-08 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2
使用教程
核心亮点
- 动态数据更新机制，有效缓解静态基准的数据泄露问题
- 统一评测接口，支持快速接入主流开源模型
- 提供细粒度能力维度分析，便于定位模型短板
不足之处
- 文档/社区待观察
- 早期项目，生态和工具链尚不完善
适用场景
- 对比多个开源模型的综合能力
- 持续监控自家模型迭代后的性能变化
- 学术研究中需要更可靠的模型评测基准
替代项目
lm-evaluation-harness、OpenCompass、HELM
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.