litmus 是评测安全领域的开源项目，由 google 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 52。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-31。Apache-2.0 许可证，可自行部署使用，完全免费。
它主要面向的使用场景是：团队在开发LLM应用时需要系统化回归测试。同类可对比的替代方案包括 Promptfoo、DeepEval、LangSmith。
GitHub 星标
★ 52
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队google
所属国家
定价模式free
价格说明开源项目，Apache-2.0 许可证，可自行部署使用，完全免费。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Vue
技术栈/模型api,apitesting,cicd,devops,llm,llm-evaluation,llm-security,llm-training,llmops,testing,testing-tools
GitHub 星标★ 52
30天Star增速
HF 下载量
上线时间2024-06-13 00:00:00
最近更新2026-08-31 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4
使用教程
核心亮点
- 提供可视化 UI，降低测试工具使用门槛
- 聚焦 LLM 应用评估，功能定位清晰
- 支持测试结果对比，便于追踪模型迭代效果
不足之处
- 项目处于早期，社区和文档积累有限
- 功能覆盖面较窄，可能缺少高级自定义能力
适用场景
- 团队在开发 LLM 应用时需要系统化回归测试
- 对比不同提示词或模型版本的效果
- 非技术成员参与评估模型输出质量
替代项目
Promptfoo、DeepEval、LangSmith
项目介绍
上一篇：rhesis
下一篇：RagaAI-Catalyst
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···