写测试、跑监控，让 LLM 应用在生产环境不翻车
athina-sdk 是一个用于 LLM 应用生产环境监控与测试的 Python SDK。它主要解决大语言模型应用在真实使用中出现的性能退化、输出质量不稳定、成本失控等问题。核心能力包括：编写和运行针对 LLM 输出的自动化测试，支持断言、回归测试和阈值检查；提供生产环境的实时监控，追踪提示词、模型响应、延迟和成本等关键指标；支持多种主流 LLM 提供商，并允许自定义评估逻辑。通过集成测试与监控，帮助开发者在模型更新或提示词调整后快速发现异常，确保应用输出符合预期。
LangSmith、PromptLayer、Helicone
athina-sdk 是评测安全领域的开源项目，由 athina-ai 开发，2023 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 131。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-06-04。开源SDK，本地部署使用，无在线服务，完全免费。
它主要面向的使用场景是：LLM应用上线前编写回归测试，防止提示词调整导致输出质量下降。同类可对比的替代方案包括 LangSmith、PromptLayer、Helicone。
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
