tool-retrieval-benchmark

测测你的检索模型会不会挑工具，让LLM用对工具

这是一个用于评估大语言模型工具检索能力的基准测试框架，源自ACL2025论文。它解决了当前检索模型在工具调用场景下表现不佳的问题，提供了标准化的评测方法和数据集。核心能力包括：构建多样化的工具检索任务、评估不同检索模型与LLM的协同效果、提供可复现的评测流程。项目包含官方代码和基准数据，支持研究者对比不同检索策略的性能，推动工具检索领域的发展。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 214
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队mangopy
所属国家
官网地址https://mangopy.github.io/tool-retrieval-benchmark
GitHubhttps://github.com/mangopy/tool-retrieval-benchmark
定价模式free
价格说明开源项目，Apache-2.0许可证，代码免费使用，无在线服务或付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言JavaScript
技术栈/模型embedding-models,information-retrieval,large-language-models,retrieval-evaluation,tool-learning
GitHub 星标★ 214
30天Star增速
HF 下载量
上线时间2025-02-11 00:00:00
最近更新2026-09-17 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 首个专门针对LLM工具检索的基准，填补空白
  • 基于ACL2025论文，方法有学术支撑
  • 提供官方代码和数据集，易于复现和扩展

不足之处

  • 文档/社区待观察
  • 项目早期，生态和工具链尚不成熟

适用场景

  • 评估检索模型在工具调用场景的准确率
  • 对比不同检索策略对LLM工具选择的影响
  • 为工具检索方向的研究提供标准测试集

替代项目

ToolBench、APIBench、BFCL

项目介绍

tool-retrieval-benchmark 是评测安全领域的开源项目，由 mangopy 开发，2025 年首次发布。

它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 214。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-17。Apache-2.0许可证，代码免费使用，无在线服务或付费版本。

它主要面向的使用场景是：评估检索模型在工具调用场景的准确率。同类可对比的替代方案包括 ToolBench、APIBench、BFCL。

上一篇：ArtifactsBenchmark

下一篇：SECA

同类项目推荐

akto 开源

给 AI 应用做安全体检，防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾，自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击，提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12
Tracely-ai 开源

把生产事故变成回归测试，合并前自动拦截 AI 故障

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1362 2026-08-24