项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 421
核心亮点
- 场景集确定可复现，同一配置多次跑分结果稳定，便于版本间回归对比
- 覆盖多轮工具编排、安全边界拦截和结构化输出三类关键能力，不只测单轮问答
- 原生支持 vLLM、SGLang、llama.cpp 三种主流推理后端，部署栈适配成本低
不足之处
- 项目处于早期，场景数量和社区生态仍在积累，长期维护情况待观察
- 以命令行跑分为主，缺少可视化报告和趋势看板，结果分析需自行处理
适用场景
- 模型选型阶段横向对比不同模型在同一推理栈下的工具调用能力
- 推理服务上线前做验收，确认多轮调用和结构化输出符合预期
- 升级模型版本或调整服务参数后跑回归，检查工具调用质量是否退化
替代项目
BFCL、ToolBench
上一篇：PassLLM
下一篇：没有了！
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
rag-arena
开源
让用户投票，选出最好的 RAG 系统
Open-source RAG evaluation through users' feedback
clean-fid
开源
让 FID 分数更可信，生成模型评估不踩坑
PyTorch - FID calculation with proper image resizing and quantization steps [CVPR 20···
evalscope
开源
一键评测大模型，性能基准轻松跑
A streamlined and customizable framework for efficient large model (LLM, VLM, AIGC) ···
bla
开源
给代码下毒，让 AI 逆向代理白忙一场
️ BLA (Blind LLM Agents) — Adversarial defense shield that protects binaries, Elec···
encord-active
开源
用主动学习挑出最有价值的标注数据，让模型迭代更快更省
The toolkit to test, validate, and evaluate your models and surface, curate, and pri···
agentdojo
开源
搭建 LLM 智能体攻防演练场，量化安全风险
A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents.
julius
开源
输入 IP:端口，秒认背后是哪种 LLM 服务
Simple LLM service identification - translate IP:Port to Ollama, vLLM, LiteLLM, or 6···
terminal-bench
开源
在真实终端里跑任务，量出 agent 到底行不行
Measuring and evolving with the frontier of agent work