项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 165
核心亮点
- 针对提示词测试的专门方案，填补了通用测试工具在 LLM 场景的空白
- 自动化生成测试用例，减少人工设计成本，覆盖更多边界情况
- 基于 GPT-4o 等模型，评估结果更贴近实际应用表现
不足之处
- 项目处于早期，文档和社区支持待观察
- 依赖外部 LLM API，可能产生费用和延迟
适用场景
- 提示词版本迭代时的回归测试
- 对比不同提示词在相同任务上的效果
- 上线前对提示词进行边界场景验证
替代项目
OpenAI Evals、Promptfoo、LangSmith
上一篇：Rules.txt
同类项目推荐
MGDebugger
开源
像调试传统代码一样调试大模型，快速定位推理错误根因。
Multi-Granularity LLM Debugger [ICSE2026]
axbench
开源
给LLM解释方法打分，选出真正有用的那个
Stanford NLP Python library for benchmarking the utility of LLM interpretability met···
bigcodebench
开源
用真实编程难题，测出大模型代码能力的真实天花板
[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI
WormGPT
开源
模拟攻击场景，测试大模型安全漏洞
WormGPT is an experimental AI project designed strictly for educational, cybersecuri···
AgentArk
开源
一套环境跑通多模态 Agent 评测与 RL 训练
A General-Purpose Environment Framework for Scalable Multimodal Agent Evaluation and···
LLM-eval-survey
开源
一张图看懂大模型评估，从基准到方法全覆盖
The official GitHub page for the survey paper "A Survey on Evaluation of Large Langu···
safelabs-eval
开源
给 AI 智能体做红队体检，上线前先找出被越狱和注入的漏洞
Red-teaming and evaluation framework for AI agents, built around an OWASP-inspired A···
PyRIT
开源
像红队一样自动攻击自家大模型，提前挖出安全漏洞
Open-source AI red teaming toolkit from Microsoft. Test generative AI systems with a···
Awesome-MCoT
开源
一张图看懂多模态推理研究脉络与代表工作
Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey