
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-16 · 当前星标 ★ 120
核心亮点
- 用 Python 实现,容易嵌入现有 AI 应用与脚本流程
- 围绕评测场景组织用例与结果,减少手工对比成本
- 定位降低 GenAI 评测门槛,适合快速搭建内部评测流程
不足之处
- 早期项目,功能完整度与稳定性有待验证
- 文档与社区生态尚不成熟,遇到问题可参考的资料有限
适用场景
- 对比不同模型或提示词版本的输出质量
- 为内部 GenAI 应用建立可重复的评测用例集
- 在模型迭代时快速回归验证效果变化
替代项目
promptfoo、DeepEval、LangSmith
下一篇:kosty
同类项目推荐
Awesome-Prompting-on-Vision-Lang···
开源
一网打尽视觉语言模型提示工程论文,快速入门研究
This repo lists relevant papers summarized in our survey paper: A Systematic Survey···
encord-active
开源
用主动学习挑出最有价值的标注数据,让模型迭代更快更省
The toolkit to test, validate, and evaluate your models and surface, curate, and pri···
CVPR_2025_Oral_Paper_List
开源
一键速览CVPR 2025 Oral论文,紧跟视觉前沿
A curated list of CVPR 2025 Oral paper. Total 96
autoarena
开源
自动两两PK,快速选出最优LLM或RAG配置
Rank LLMs, RAG systems, and prompts using automated head-to-head evaluation
TransformerLens
开源
像调试代码一样拆开GPT,定位每个注意力头的作用
A library for mechanistic interpretability of GPT-style language models
PostTrainBench
开源
一张H100,十小时,测出AI代理调教大模型的本事
Measuring how well CLI agents like Claude Code or Codex CLI can post-train base LLMs···
plexiglass
开源
给大模型做安全体检,提前发现提示注入与越狱风险
A toolkit for detecting and protecting against vulnerabilities in Large Language Mod···
superagent
开源
给 AI 应用装上安全盾,防注入防泄露
Superagent protects your AI applications against prompt injections, data leaks, and ···
axbench
开源
给LLM解释方法打分,选出真正有用的那个
Stanford NLP Python library for benchmarking the utility of LLM interpretability met···