项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 235
核心亮点
- 通过模拟用户对话，能在开发阶段提前发现智能体的逻辑漏洞和意图识别错误
- 支持与主流 LLM 和智能体框架集成，便于嵌入现有开发流程
- 提供场景化仿真和回归测试，帮助持续跟踪智能体质量
不足之处
- 项目处于早期阶段，文档和社区生态尚待完善
- 模拟用户行为的准确性和覆盖度可能受限于预置场景
适用场景
- 智能体上线前的自动化测试与错误排查
- 持续集成中回归测试对话质量
- 对比不同 LLM 或提示词对智能体表现的影响
替代项目
Ragas、DeepEval、Promptfoo
上一篇：botium-core
下一篇：rag-arena
同类项目推荐
evalstats
开源
小样本评测也能算出模型差异是否真实
Statistical inference for AI evaluations, from model comparisons to corrections for ···
uncheatable_eval
开源
用最新网络数据动态出题，防止模型背答案刷分
Evaluating LLMs with Dynamic Data
safe-rlhf
开源
在强化学习中对齐人类价值观，让AI输出既有用又安全。
Safe RLHF: Constrained Value Alignment via Safe Reinforcement Learning from Human Fe···
prometheus-eval
开源
用 Prometheus 或 GPT-4 自动给 LLM 回复打分，快速筛选最佳模型。
Evaluate your LLM's response with Prometheus and GPT4
uqlm
开源
量化 LLM 不确定性，精准识别幻觉，提升 AI 输出可信度。
[JMLR 2026] UQLM: A Python package for LLM hallucination detection using uncertainty···
VerifAI
开源
给带 AI 的系统做形式化验证，提前揪出危险场景
VerifAI is a software toolkit for the formal design and analysis of systems that inc···
raga-llm-hub
开源
一站式搞定 LLM 评估、防护与安全，让上线更放心
Framework for LLM evaluation, guardrails and security
evals
开源
配置驱动的 Agent 评测，批量跑完直接看结果
Fast, robust, configurable agent evals
VideoGen-Eval
开源
给视频生成模型打分，自动评测多维度质量
VideoGen-Eval: Agent-based System for Video Generation Evaluation