项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 106
技术标签
核心亮点
- 任务设计贴近真实：模糊意图+多轮对话+主动引导，考验系统交互能力
- 评估客观可验证：基于知识图谱三元组F1，避免主观评分，结果可复现
- 覆盖长时程任务：200个任务，适合评测长期记忆和上下文管理能力
不足之处
- 项目处于早期阶段，文档和社区支持有待完善
- 基准测试集规模有限（200任务），可能无法覆盖所有搜索场景
适用场景
- 评测大语言模型搜索代理的交互式搜索能力
- 研究模糊查询下的用户意图理解和澄清策略
- 对比不同搜索系统在复杂任务上的性能差异
替代项目
BEIR、MS MARCO、TREC CAR
同类项目推荐
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
GLM-5.3-Flash-J-Space-Capability···
开源
把大模型智能体能力评测做成可读报告，一眼看清真实水平
GLM-5.3-Flash × J-Space capability realization — benchmark presentation of the J-S···
nemo-helix
开源
让上线的 AI Agent 更快更准更安全
NeMo Helix: Make the agents you ship faster, more accurate, and safer.
skills-benchmarks
开源
给 AI 智能体技能上秤，跑分对比不靠嘴
Aegis
开源
给 AI 代理加装安全护栏，零代码实现审计、审批和紧急停机。
Runtime policy enforcement for AI agents. Cryptographic audit trail, human-in-the-lo···
Deco
开源
让多模态模型少说瞎话，动态纠错解码即插即用
[ICLR 2025] MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation
Tracely-ai
开源
把线上 agent 失败轨迹变成 CI 回归测试，退化就拦 PR
Trace-native CI/CD for AI agents: grade production traces, cluster failures, freeze ···
awesome-ai-security-tools
开源
一页清单，快速定位 AI 安全各细分方向的可用工具
A curated list of public-source, research, and commercial tools for AI security and ···
opik
开源
一站式追踪、评估、监控你的 LLM 应用，从调试到上线全程掌控。
Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflo···