项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 569
使用教程
环境要求
- Python 环境
- 模型凭据
- 评测数据
安装与启动步骤
-
1建环境
评测基准的官方实现，指定 Python 版本。
conda create -n travelplanner python=3.9 -
2装依赖
按清单装。
pip install -r requirements.txt -
3先跑一遍基线
用默认配置跑小样本，确认链路通。
python tool_agents.py --set_type val --output_dir ./out --model_name gpt -
4跑单模型规划
换成你要评测的模型与策略。
python sole_planning.py --set_type val --output_dir ./out --model_name gpt --strategy react -
5解析并打分
把生成结果解析成结构化再评。
python eval.py --set_type val --evaluation_file_path ./out/eval.json
如何确认成功
在同一批样本上跑完一条完整流程，能拿到通过率与约束满足率两个可复现的数字
注意事项
- 这是评测基准，不是能用的行程规划器。
- 数据与约束由官方维护，别自己改判据。
- 打分对解析结果很敏感，解析失败要单独统计。
- 全量跑一次成本不低，先用验证集。
核心亮点
- 覆盖1200+真实旅行规划任务，约束条件丰富，贴近实际使用场景
- 提供标准化评估流程和量化指标，方便横向对比不同语言智能体的规划能力
- 来自ICML'24 Spotlight，学术权威性强，数据集和代码开源可复现
不足之处
- 仅聚焦旅行规划单一领域，泛化到其他规划任务（如日程、资源调度）需额外适配
- 评估指标可能偏向于约束满足，对方案质量（如用户满意度）的刻画有限
适用场景
- 学术研究：评估和对比大语言模型在复杂规划任务上的表现
- 模型开发：帮助开发者定位语言智能体在规划推理中的短板并迭代优化
- 教育演示：作为AI规划能力教学和演示的标准化案例
替代项目
AgentBench、ToolBench、ALFWorld
上一篇：awesome-ai-agents-security
下一篇：appworld
同类项目推荐
LLM-IR-Bias-Fairness-Survey
开源
一库看懂LLM做搜索时的偏见与公平坑
This is the repo for the survey of Bias and Fairness in IR with LLMs.
beir
开源
一个平台，跑遍15+检索数据集，看清模型真实力。
A Heterogeneous Benchmark for Information Retrieval. Easy to use, evaluate your mode···
awesome-hallucination-detection
开源
大模型幻觉检测论文一网打尽，快速入门不迷路
List of papers on hallucination detection in LLMs.
benchmark
开源
用200个真实网页任务，跑分对比你的浏览器AI智能体
Open benchmarks for browser agents: BU Bench V2.1, 200 real web tasks. Rerun them wi···
ollama-grid-search
开源
本地 Ollama 模型批量跑评测，网格对比一键出结果
A multi-platform desktop application to evaluate and compare LLM models, written in ···
axbench
开源
给LLM解释方法打分，选出真正有用的那个
Stanford NLP Python library for benchmarking the utility of LLM interpretability met···
safelabs-eval
开源
给 AI 智能体做红队体检，上线前先找出被越狱和注入的漏洞
Red-teaming and evaluation framework for AI agents, built around an OWASP-inspired A···
MixEval
开源
动态更新评测数据，让模型分数不再虚高
The official evaluation suite and dynamic data release for MixEval.
Diffusion-MU-Attack
开源
快速攻破遗忘扩散模型，测出安全漏洞
The official implementation of ECCV'24 paper "To Generate or Not? Safety-Driven Unle···