empirical

用数据说话，系统化测试评估你的 LLM 应用

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 11 🐛 待处理 8 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 166
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

empirical 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队empirical-run
官网地址https://docs.empirical.run
GitHubhttps://github.com/empirical-run/empirical
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型evaluation-framework,llm,llm-inference,llmops,test-automation,testing,testing-framework
GitHub 星标★ 166
上线时间2024-03-14 00:00:00
代码更新2024-08-20
仓库体积1.6 MB
本站数据更新2026-10-30
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

empirical 是一个用于测试和评估大语言模型（LLM）及其配置的开源基础设施工具。它帮助开发者在应用开发过程中，针对所有关键场景对模型进行系统性的测试和评估，解决 LLM 选型、提示词调优、模型回归测试等难题。核心能力包括：定义和运行多样化的评估场景、对比不同模型和配置的性能、生成详细的评估报告，从而让开发者能够基于数据而非直觉做出决策。它采用 TypeScript 编写，提供了灵活的 API 和命令行工具，易于集成到现有开发流程中。作为早期项目，它致力于填补 LLM 应用开发中测试评估环节的空白，提升 AI 应用的可靠性和质量。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 166

核心亮点

  • 专注于 LLM 测试评估，覆盖多种应用场景，提供结构化测试框架
  • 支持对比不同模型和配置，帮助开发者做出数据驱动的选型决策
  • 基于 TypeScript，API 设计现代，易于集成到 Node.js 开发流程

不足之处

  • 项目处于早期阶段，社区生态和文档尚待完善
  • 可能缺乏对中文场景和国内模型的深度支持

适用场景

  • 在多个 LLM 之间做选型对比，确定最适合业务场景的模型
  • 对提示词或模型配置进行回归测试，防止更新后性能下降
  • 建立持续评估流水线，在 CI/CD 中自动评估模型质量

替代项目

Promptfoo、DeepEval、LangSmith

上一篇：raga-llm-hub

下一篇：uptrain

同类项目推荐

FollowBench 开源

用多级细粒度约束，精准测出大模型指令遵循的真实水平

[ACL 2024] FollowBench: A Multi-level Fine-grained Constraints Following Benchmark f···

★ 121 2026-08-09
langfair 开源

给LLM做公平性体检，防偏见翻车

LangFair is a Python library for conducting use-case level LLM bias and fairness ass···

★ 261 2026-08-09
awesome-gpt-6-astra 开源

一份清单，带你安全玩转GPT-6 Astra的实战用例与提示词。

Evidence-backed use cases, prompts, integrations, evaluations, and safety notes for ···

★ 14 2026-09-07
AlignLLMHumanSurvey 开源

一张图看懂大模型如何对齐人类偏好

Aligning Large Language Models with Human: A Survey

★ 739 2026-09-15
spelltest 开源

用 AI 模拟用户，自动测试你的 LLM 应用，提前发现坑

AI-to-AI Testing | Simulation framework for LLM-based applications

★ 138 2026-08-09
AgentHound 开源

像 BloodHound 一样测绘 AI 智能体攻击路径，快速发现安全弱点。

Offensive security framework for AI agent infrastructure - recon, credential looting···

★ 461 2026-08-09
hallucination-leaderboard 开源

看哪个大模型摘要最不容易瞎编

Leaderboard Comparing LLM Performance at Producing Hallucinations when Summarizing S···

★ 3324 2026-08-09
AgentCompass 开源

一套框架统一跑各家智能体评测，结果可横向对比

[EMNLP 2026] AgentCompass is an extensible open-source evaluation infrastructure for···

★ 190 2026-10-23