empirical 是评测安全领域的开源项目，由 empirical-run 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 166。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-03。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：在多个LLM之间做选型对比，确定最适合业务场景的模型。同类可对比的替代方案包括 Promptfoo、DeepEval、LangSmith。
empirical
用数据说话，系统化测试评估你的 LLM 应用
empirical 是一个用于测试和评估大语言模型（LLM）及其配置的开源基础设施工具。它帮助开发者在应用开发过程中，针对所有关键场景对模型进行系统性的测试和评估，解决 LLM 选型、提示词调优、模型回归测试等难题。核心能力包括：定义和运行多样化的评估场景、对比不同模型和配置的性能、生成详细的评估报告，从而让开发者能够基于数据而非直觉做出决策。它采用 TypeScript 编写，提供了灵活的 API 和命令行工具，易于集成到现有开发流程中。作为早期项目，它致力于填补 LLM 应用开发中测试评估环节的空白，提升 AI 应用的可靠性和质量。
开源
free
基础设施
GitHub 星标
★ 166
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队empirical-run
所属国家
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型evaluation-framework,llm,llm-inference,llmops,test-automation,testing,testing-framework
GitHub 星标★ 166
30天Star增速
HF 下载量
上线时间2024-03-14 00:00:00
最近更新2026-08-03 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- 专注于 LLM 测试评估，覆盖多种应用场景，提供结构化测试框架
- 支持对比不同模型和配置，帮助开发者做出数据驱动的选型决策
- 基于 TypeScript，API 设计现代，易于集成到 Node.js 开发流程
不足之处
- 项目处于早期阶段，社区生态和文档尚待完善
- 可能缺乏对中文场景和国内模型的深度支持
适用场景
- 在多个 LLM 之间做选型对比，确定最适合业务场景的模型
- 对提示词或模型配置进行回归测试，防止更新后性能下降
- 建立持续评估流水线，在 CI/CD 中自动评估模型质量
替代项目
Promptfoo、DeepEval、LangSmith
项目介绍
上一篇：raga-llm-hub
下一篇：uptrain
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···