evalchemy

一条命令跑完大模型评测,自动出对比报告

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 88 🐛 待处理 38 👀 关注 20
GitHub ↗
GitHub 星标 ★ 617
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,定价信息待确认

项目预览

evalchemy 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队mlfoundations
定价模式🏷️完全免费
价格说明开源免费,定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言HTML
GitHub 星标★ 617
上线时间2024-11-15 00:00:00
代码更新2026-11-12
仓库体积55.8 MB
本站数据更新2026-11-19
维护状态活跃
收录时间2026-11-19
浏览次数0

项目介绍

Evalchemy 是一个面向大语言模型的自动化评测工具,目标是让开发者用统一、可复现的流程衡量模型在多种任务上的表现。它把评测数据集加载、提示构造、模型调用、答案抽取与指标计算串成流水线,减少手工跑分和结果对不齐的问题。核心能力包括:内置多类评测基准与任务模板,支持接入不同模型接口并批量推理,自动解析模型输出并计算准确率等指标,生成可对比的评测报告。项目以 HTML 为主要语言,说明其侧重提供可视化结果页面,方便查看各模型、各任务得分。适合在模型选型、微调前后对比、版本回归验证时快速得到量化结论。当前星标约 617,属于早期项目,生态与文档仍在完善中,采用前建议先小规模验证评测流程与自身任务是否匹配。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-19 · 当前星标 ★ 617

核心亮点

  • 内置多类评测基准与任务模板,开箱即可跑分
  • 把数据加载、推理、答案抽取、指标计算串成自动化流水线,减少手工操作
  • 提供 HTML 可视化报告,便于横向对比不同模型和任务得分

不足之处

  • 项目处于早期,文档与评测基准覆盖度仍在完善
  • 以 HTML 为主,工程化集成与二次开发便利性有待观察

适用场景

  • 模型选型时横向对比多个大模型的基准得分
  • 微调前后做回归评测,验证能力是否退化
  • 模型版本迭代时批量跑评测并生成报告

替代项目

lm-evaluation-harness、OpenCompass、HELM

上一篇:cybergym-e2e

下一篇:g-harness-evals

同类项目推荐

AISafetyHot-Hub 开源

每天一份 AI 安全论文清单,md/bib/json 直接喂给 Agent

AI Safety HOT: daily AI safety news, papers and incidents in one place — jailbreaks···

★ 2134 2026-10-10
awesome-RLHF 开源

一份清单,从入门到进阶搞定 RLHF 全部资源

A curated list of reinforcement learning with human feedback resources (continually ···

★ 4440 2026-08-09
OpenAPPA 开源

给 AI Agent 加确定性护栏,安全不打断任务

Deterministic guardrails that don't break agents

★ 1641 2026-10-09
Video-MME 开源

测一测你的多模态模型,视频理解能力到底行不行

✨✨[CVPR 2025] Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Mult···

★ 805 2026-08-09
exploitgym 开源

用真实漏洞测 AI 能不能写出能跑的利用代码

ExploitGym is a large-scale, realistic benchmark built from real-world vulnerabiliti···

★ 1301 2026-10-08
JailbreakHub 开源

大模型安全测试提示词合集,红队评测随手取用

A Hub/research area, for jailbreaking LLM's, and breaking their safety filters.

★ 605 2026-11-11
stable-audio-metrics 开源

给音乐生成模型打分的客观指标工具箱

Metrics for evaluating music and audio generative models – with a focus on long-for···

★ 306 2026-10-29
awesome-ai-leaderboard 开源

一榜在手,AI模型强弱全看透

A curated list of awesome leaderboard-oriented resources for AI domain

★ 384 2026-08-09
param 开源

参数化基准组合,一键测出训练推理平台真实性能

PArametrized Recommendation and Ai Model benchmark is a repository for development o···

★ 156 2026-10-31