项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 131
技术标签
核心亮点
- 提供声明式测试断言，可快速验证 LLM 输出是否包含关键信息或符合格式
- 内置生产监控仪表盘，实时追踪调用量、延迟和成本
- 支持与主流 LLM 提供商（如 OpenAI、Cohere）无缝集成，降低接入成本
不足之处
- 项目处于早期阶段，文档和社区支持相对有限
- 部分高级监控功能可能需要配套后端服务，本地使用受限
适用场景
- LLM 应用上线前编写回归测试，防止提示词调整导致输出质量下降
- 生产环境中持续监控模型响应质量，及时发现异常输出
- 对比不同模型或提示词版本的成本与性能，辅助选型决策
替代项目
LangSmith、PromptLayer、Helicone
同类项目推荐
www-project-agent-memory-guard
开源
给AI智能体记忆加把锁，防投毒防操控
Runtime defense against memory poisoning in AI agents (OWASP ASI06). Drop-in for Lan···
guidellm
开源
给 LLM 推理服务做真实压测，选型调优有数可依
Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs
LiveBench
开源
每月换新题，测出模型真实水平
LiveBench: A Challenging, Contamination-Free LLM Benchmark
svelte-bench
开源
专测大模型写 Svelte 5 代码行不行
An LLM benchmark for Svelte 5 based on the OpenAI methodology from OpenAIs paper "Ev···
PySODEvalToolkit
开源
一行命令批量算齐 SOD/COD 全部指标
PySODEvalToolkit: A Python-based Evaluation Toolbox for Salient Object Detection and···
awesome-llm-agent-papers
开源
200+篇LLM智能体论文，按主题分类，助你快速掌握前沿。
LLM agents: curated papers on planning, memory, tool use, multi-agent systems, evalu···
ollama-benchmark
开源
一键测本地大模型吞吐，选模型不靠猜
LLM Benchmark for Throughput via Ollama (Local LLMs)
model-serving-minefield
开源
按症状查 LLM 服务陷阱，避免自信的错误测量
Community registry of LLM serving-path traps that produce confidently wrong measurem···
AI-ML-Free-Resources-for-Securit···
开源
照着路线图学，从零入门 AI 渗透与提示注入
AI/ML Pentesting Roadmap for Beginners