PostTrainBench

一张H100，十小时，测出AI代理调教大模型的本事

开源 🏷️定价信息待确认 ✅ 目前可打开评测安全 🍴 复刻 71 🐛 待处理 24 👀 关注 7

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 618

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

PostTrainBench 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类评测安全

开发团队aisa-group

官网地址http://posttrainbench.com

GitHubhttps://github.com/aisa-group/PostTrainBench

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态✅ 目前可打开

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai-research-automation,ai-safety,claude-code,codex-cli,gemini-cli,post-training

GitHub 星标★ 618

上线时间2025-11-28 00:00:00

代码更新2026-11-08

仓库体积16.1 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-10

浏览次数6

项目介绍

PostTrainBench 是一个用于评测命令行 AI 编程代理（如 Claude Code、Codex CLI、Gemini CLI）在单张 H100 GPU 上、10 小时内对基础大模型进行后训练（post-training）能力的基准测试框架。它解决了当前缺乏标准化、可复现的代理后训练评测问题，为研究者和工程师提供了一套统一的测试协议，包括任务定义、数据集、评估指标和自动化流程。核心能力包括：自动化运行代理进行微调或对齐实验、监控资源消耗、量化模型性能提升，并支持多代理横向对比。该项目旨在推动 AI 代理在模型定制化场景中的应用，降低后训练门槛，同时关注安全性和可复现性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 618

技术标签

ai-safety claude-code codex-cli gemini-cli post-training

使用教程

难度：高级约 120 分钟部署方式：Docker部署 4 步

环境要求

Docker
GPU 与磁盘空间
待评测的代理

安装与启动步骤

1打容器镜像

它靠容器隔离每次任务，先把标准镜像构建出来。
```
bash containers/build_container.sh standard
```
2预下缓存

模型缓存要提前拉，任务里现拉基本会超时。
```
bash containers/download_hf_cache/download_hf_cache.sh
```
3准备任务描述

每个任务是说明加验收脚本，按模板写一份。
4跑一轮评测

用同一批任务比不同代理的表现，才有可比性。