litmus

拖拽式搭建 LLM 测试,快速看清模型表现

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 10 🐛 待处理 5 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 52
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可自行部署使用,完全免费。

项目预览

litmus 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队google
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可自行部署使用,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Vue
技术栈/模型api,apitesting,cicd,devops,llm,llm-evaluation,llm-security,llm-training,llmops,testing,testing-tools
GitHub 星标★ 52
上线时间2024-06-13 00:00:00
代码更新2026-11-03
仓库体积310.5 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数5

项目介绍

Litmus 是一个面向生成式 AI 应用开发的 LLM 测试与评估平台。它通过友好的用户界面,帮助开发者系统化地构建和评估基于大语言模型的应用性能。项目解决了 LLM 应用开发中测试流程分散、评估标准不统一的问题,提供了从测试用例管理、批量运行到结果分析的一体化工具链。其核心能力包括可视化测试编排、多维度指标评估、结果对比与回归检测,旨在让团队能更高效地迭代和上线可靠的 AI 功能。当前项目处于早期阶段,界面和功能聚焦于简化测试流程,降低评估门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 52

核心亮点

  • 提供可视化 UI,降低测试工具使用门槛
  • 聚焦 LLM 应用评估,功能定位清晰
  • 支持测试结果对比,便于追踪模型迭代效果

不足之处

  • 项目处于早期,社区和文档积累有限
  • 功能覆盖面较窄,可能缺少高级自定义能力

适用场景

  • 团队在开发 LLM 应用时需要系统化回归测试
  • 对比不同提示词或模型版本的效果
  • 非技术成员参与评估模型输出质量

替代项目

Promptfoo、DeepEval、LangSmith

上一篇:rhesis

下一篇:RagaAI-Catalyst

同类项目推荐

claw-swe-bench 开源

统一接口跑 SWE-bench,横向比出哪个 agent 框架更能修 bug

Unified adapter framework for evaluating agent harnesses (claws) on SWE-bench

★ 112 2026-10-13
agent-audit 开源

给 AI 智能体做安全体检,防提示注入和配置漏洞

Static security scanner for LLM agents — prompt injection, MCP config auditing, tai···

★ 244 2026-08-09
autoguardrails 开源

用 policy.md 自动搜索最优 LLM 护栏策略

Alignment-research scaffold (autoresearch-style) for LLM guardrails: search over a s···

★ 129 2026-08-10
TaskMeAnything 开源

自动生成多模态任务,全面评估模型能力

[NeurIPS 2024] A task generation and model evaluation system for multimodal languag···

★ 71 2026-08-09
model-leaderboard 开源

目标检测模型谁最强?排行榜按小大物体直接比。

Which model is the best at object detection? Which is best for small or large object···

★ 108 2026-09-20
XLingEval 开源

测测大模型用不同语言回答医疗问题的靠谱程度

Code and Resources for the paper, "Better to Ask in English: Cross-Lingual Evaluatio···

★ 409 2026-08-09
HacxGPT-Jailbreak-prompts 开源

一键解锁 AI 模型隐藏能力,突破限制自由对话

HacxGPT Jailbreak : Unlock the full potential of top AI models like ChatGPT, LLaMA, ···

★ 227 2026-08-09
ScienceAgentBench 开源

用102个真实科研任务,严格检验AI科学智能体成色

[ICLR'25] ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-···

★ 183 2026-08-09
awesome-ai-leaderboard 开源

一榜在手,AI模型强弱全看透

A curated list of awesome leaderboard-oriented resources for AI domain

★ 384 2026-08-09