项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 164
核心亮点
- 用 agent 编排评测全流程，减少人工配置数据集和推理脚本的重复劳动
- 集成 vLLM、SGLang 等主流推理后端，便于批量高效生成模型回答
- 覆盖 benchmark 加载、推理、数据分析与结果汇总，形成端到端闭环
不足之处
- 项目处于早期阶段，星标数较少，生态与文档完善度待观察
- 评测结果的可信度依赖 agent 编排逻辑，复杂任务的稳定性需实际验证
适用场景
- 团队需要定期横向对比多个 LLM 在标准 benchmark 上的表现
- 研究者快速验证新模型或微调版本的能力变化
- 工程团队搭建自动化模型评测流水线，减少手工跑分
替代项目
lm-evaluation-harness、OpenCompass
上一篇：Awesome-Multimodal-LLM-for-Code
下一篇：Eval
同类项目推荐
GenAI-LLM-Top10
开源
对照 OWASP 清单，快速排查大模型应用安全风险
OWASP Top 10 for Large Language Model Applications
ErrorAnalysis_Prompt
开源
用 ChatGPT 快速定位翻译错误，输出结构化评估报告
:gift:[ChatGPT4MTevaluation] ErrorAnalysis Prompt for MT Evaluation in ChatGPT
awesome-RLHF
开源
一份清单，从入门到进阶搞定 RLHF 全部资源
A curated list of reinforcement learning with human feedback resources (continually ···
litmus
开源
拖拽式搭建 LLM 测试，快速看清模型表现
Litmus is a comprehensive LLM testing and evaluation tool designed for GenAI Applica···
PurpleLlama
开源
给大模型装上安全护栏，评测+拦截一步到位
Set of tools to assess and improve LLM security.
ablation
开源
用 LLM 智能体自动读汇编、追调用链，加速二进制逆向
Ablation is an AI-assisted reverse engineering (AIARE) framework
nemo-helix
开源
让上线的 AI Agent 更快更准更安全
NeMo Helix: Make the agents you ship faster, more accurate, and safer.
LLM-KG-Bench
开源
一键评测大模型在知识图谱任务上的表现
LLM-KG-Bench is a Framework and task collection for automated benchmarking of Large ···
PromptMe
开源
10 个动手挑战，亲手打穿 LLM 安全漏洞
PromptMe is an educational project that showcases security vulnerabilities in large ···