tool-retrieval-benchmark

测测你的检索模型会不会挑工具，让LLM用对工具

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 6 🐛 待处理 1 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 224
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，代码免费使用，无在线服务或付费版本。

项目预览

tool-retrieval-benchmark 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队mangopy
官网地址https://mangopy.github.io/tool-retrieval-benchmark
GitHubhttps://github.com/mangopy/tool-retrieval-benchmark
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，代码免费使用，无在线服务或付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言JavaScript
技术栈/模型embedding-models,information-retrieval,large-language-models,retrieval-evaluation,tool-learning
GitHub 星标★ 224
上线时间2025-02-11 00:00:00
代码更新2025-12-22
仓库体积3.4 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

这是一个用于评估大语言模型工具检索能力的基准测试框架，源自ACL2025论文。它解决了当前检索模型在工具调用场景下表现不佳的问题，提供了标准化的评测方法和数据集。核心能力包括：构建多样化的工具检索任务、评估不同检索模型与LLM的协同效果、提供可复现的评测流程。项目包含官方代码和基准数据，支持研究者对比不同检索策略的性能，推动工具检索领域的发展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 224

核心亮点

  • 首个专门针对LLM工具检索的基准，填补空白
  • 基于ACL2025论文，方法有学术支撑
  • 提供官方代码和数据集，易于复现和扩展

不足之处

  • 文档/社区待观察
  • 项目早期，生态和工具链尚不成熟

适用场景

  • 评估检索模型在工具调用场景的准确率
  • 对比不同检索策略对LLM工具选择的影响
  • 为工具检索方向的研究提供标准测试集

替代项目

ToolBench、APIBench、BFCL

上一篇：ArtifactsBenchmark

下一篇：SECA

同类项目推荐

Awesome-LLMs-Pruning 开源

大模型剪枝论文一网打尽，调研选型不迷路

Awesome LLM pruning papers all-in-one repository with integrating all useful resourc···

★ 182 2026-10-24
coir 开源

给代码检索模型做全面体检，一张卷子测出真实力。

(ACL 2025 Main) A Comprehensive Benchmark for Code Information Retrieval.

★ 157 2026-08-09
Awesome-LLM-Red-Teaming 开源

一站式收集 LLM 红队测试资源，快速上手安全攻防

A curated list of awesome LLM Red Teaming training, resources, and tools.

★ 148 2026-08-09
XLingEval 开源

测测大模型用不同语言回答医疗问题的靠谱程度

Code and Resources for the paper, "Better to Ask in English: Cross-Lingual Evaluatio···

★ 409 2026-08-09
Aegis 开源

给AI代理装上监控摄像头，实时盯住它的每一个动作。

Your agents have access. You deserve visibility. A local security dashboard for AI c···

★ 159 2026-08-09
confabulations 开源

测出RAG系统胡说八道，用人工验证问答对量化幻觉

Hallucinations (Confabulations) Document-Based Benchmark for RAG. Includes human-ver···

★ 251 2026-08-09
OSWorld 开源

让 AI 学会像人一样操作电脑，真实环境跑分评测

[NeurIPS 2024] OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real ···

★ 3256 2026-08-09
system_prompts_leaks 开源

扒开各家 AI 的底牌，看清它怎么想、怎么答

Leaked system prompts of ChatGPT, Claude, Gemini and more. The hidden system prompt ···

★ 70984 2026-08-09
LLM-KG-Bench 开源

一键评测大模型在知识图谱任务上的表现

LLM-KG-Bench is a Framework and task collection for automated benchmarking of Large ···

★ 60 2026-08-09