PostTrainBench

一张H100，十小时，测出AI代理调教大模型的本事

PostTrainBench 是一个用于评测命令行 AI 编程代理（如 Claude Code、Codex CLI、Gemini CLI）在单张 H100 GPU 上、10 小时内对基础大模型进行后训练（post-training）能力的基准测试框架。它解决了当前缺乏标准化、可复现的代理后训练评测问题，为研究者和工程师提供了一套统一的测试协议，包括任务定义、数据集、评估指标和自动化流程。核心能力包括：自动化运行代理进行微调或对齐实验、监控资源消耗、量化模型性能提升，并支持多代理横向对比。该项目旨在推动 AI 代理在模型定制化场景中的应用，降低后训练门槛，同时关注安全性和可复现性。

开源 unknown 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 567

维护状态较活跃

是否开源是

定价模式 unknown

项目数据

分类评测安全

开发团队aisa-group

所属国家

官网地址http://posttrainbench.com

GitHubhttps://github.com/aisa-group/PostTrainBench

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型ai-research-automation,ai-safety,claude-code,codex-cli,gemini-cli,post-training

GitHub 星标★ 567

30天Star增速

HF 下载量

上线时间2025-11-28 00:00:00

最近更新2026-09-22 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-10

浏览次数4

使用教程

核心亮点

提供标准化评测协议，让不同CLI代理的后训练能力可横向对比
针对单卡H100的严苛资源限制，评测结果贴近真实硬件约束
自动化流程减少人工干预，提升评测的可复现性和效率

不足之处

项目处于早期，文档和社区支持待观察
评测场景聚焦于单卡和短时间，可能不覆盖大规模或长周期后训练任务

适用场景

研究人员对比不同AI代理的模型定制化能力
工程师在有限GPU资源下评估代理微调基础模型的可行性
AI安全研究者考察代理后训练过程中的安全性和可控性

替代项目

OpenCompass、lm-evaluation-harness、AgentBench

项目介绍

PostTrainBench 是评测安全领域的开源项目，由 aisa-group 开发，2025 年首次发布。

它收录于评测安全分类，该分类目前共有 467 个项目，GitHub 星标数为 567。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-22。从国内网络环境看，可直接访问。

它主要面向的使用场景是：研究人员对比不同AI代理的模型定制化能力。同类可对比的替代方案包括 OpenCompass、lm-evaluation-harness、AgentBench。

上一篇：context-bombs

下一篇：Aegis