项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 302
核心亮点
- 提供开箱即用的多种评估指标，覆盖事实性、相关性、有害性等关键维度
- API 设计简洁，几行代码即可集成到现有测试流程
- 支持自定义评估逻辑，灵活适配不同业务场景
不足之处
- 项目处于早期阶段，文档和社区支持尚待完善
- 评估指标依赖外部 LLM 调用，可能产生额外成本
适用场景
- 在 CI/CD 流程中自动评估模型输出质量，防止回归
- 对比不同 Prompt 或模型版本的效果，辅助调优
- 对生产环境中的 LLM 响应进行抽样监控，发现潜在风险
替代项目
LangChain Evals、Promptfoo、DeepEval
上一篇：llm-leaderboard
下一篇：prometheus-eval
同类项目推荐
uqlm
开源
量化 LLM 不确定性，精准识别幻觉，提升 AI 输出可信度。
[JMLR 2026] UQLM: A Python package for LLM hallucination detection using uncertainty···
rsi_eval
开源
一条命令跑通 agent 自我改进的多轮基准评测
A lightweight Python SDK and CLI for evaluating recursive self-improvement (RSI) met···
GLM-5.3-Flash-J-Space-Capability···
开源
把大模型智能体能力评测做成可读报告，一眼看清真实水平
GLM-5.3-Flash × J-Space capability realization — benchmark presentation of the J-S···
parea-sdk-py
开源
一站式搞定 LLM 应用的测试、评估与监控
Python SDK for experimenting, testing, evaluating & monitoring LLM-powered applicati···
AgentHound
开源
像 BloodHound 一样测绘 AI 智能体攻击路径，快速发现安全弱点。
Offensive security framework for AI agent infrastructure - recon, credential looting···
tifa
开源
用问答方式自动检查AI画图是否忠实于文字描述
TIFA: Accurate and Interpretable Text-to-Image Faithfulness Evaluation with Question···
awesome-jev-tools
开源
一页清单，快速找到 Jev 类型化决策的现成工具
A curated list of tools built for Jev — TypeSafe AI's System One model for typed d···
rhesis
开源
让领域专家给AI当教练，用标注反馈驱动智能体快速进化
The collaboration layer for teams building AI agents. Test, simulate, and trace your···
agentevals
开源
用追踪数据评估智能体，无需绑定框架
agentevals is a framework-agnostic evaluations solution based on OpenTelemetry trace···