evidently

一站式监控 ML 和 LLM,100+ 指标防模型退化

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 967 🐛 待处理 357 👀 关注 57
GitHub ↗
GitHub 星标 ★ 8053
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源框架,Apache-2.0 许可证,全部功能免费,无付费版本。

项目预览

evidently 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队evidentlyai
定价模式🏷️完全免费
价格说明开源框架,Apache-2.0 许可证,全部功能免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型data-drift,data-quality,data-science,data-validation,generative-ai,hacktoberfest,html-report,jupyter-notebook,llm,llmops,machine-learning,mlops,model-monitoring,pandas-dataframe
GitHub 星标★ 8053
上线时间2020-11-25 00:00:00
代码更新2026-09-29
仓库体积551.6 MB
本站数据更新2026-11-10
维护状态维护中
收录时间2026-08-09
浏览次数7

项目介绍

Evidently 是一个开源的机器学习和大型语言模型可观测性框架,用于评估、测试和监控任何 AI 驱动的系统或数据管道,覆盖从表格数据到生成式 AI 的广泛场景。它提供 100 多种指标,包括数据漂移检测、数据质量验证、模型性能评估以及 LLM 特定的指标(如幻觉、答案相关性等)。核心能力包括生成详细的 HTML 报告、支持 Jupyter Notebook 交互式分析、可集成到 CI/CD 流程中实现持续监控,并支持自定义指标和测试。该项目旨在帮助数据科学家和 ML 工程师在生产环境中快速发现模型退化、数据分布变化等问题,从而提升 AI 系统的可靠性和可维护性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 8053

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 5 分钟 部署方式:库/依赖 3 步

环境要求

  • Python 运行环境(Evidently 为 Python 库)
  • 包管理器:pip 或 conda
  • 网络可访问 PyPI 或 conda-forge 源

安装与启动步骤

  1. 1用 pip 安装

    README 推荐的首选方式,从 PyPI 安装 Evidently 库,适合绝大多数 Python 环境。

    pip install evidently
  2. 2或改用 Conda 安装

    若你使用 Conda 管理环境,可改用 conda-forge 频道安装;与 pip 方式二选一即可。

    conda install -c conda-forge evidently
  3. 3验证安装

    在命令行中导入 evidently,不报 ModuleNotFoundError 即说明安装成功。

    python -c "import evidently"

如何确认成功

执行 python -c "import evidently" 无任何报错,即表示安装成功。

常见问题

Q:应该选 pip 还是 conda 安装?

A:README 同时给出两种方式,按你当前的环境管理工具选择其一即可,不建议在同一环境中混用两种方式重复安装。

Q:conda 安装提示找不到包怎么办?

A:确认命令中带有 -c conda-forge 频道参数,README 明确要求通过 conda-forge 频道安装 Evidently。

Q:安装后去哪看使用文档?

A:README 顶部提供了官方文档 docs.evidentlyai.com 与 API Reference 链接,可查阅完整的指标与用法说明。

Q:Evidently 能做 LLM 评估吗?

A:可以。它是用于评估、测试和监控 ML 与 LLM 系统的开源框架,内置 100+ 指标,包含数据漂移检测、LLM 评判(如幻觉、答案相关性)等。

注意事项

  • Evidently 是 Python 库而非独立服务,安装后无需启动端口或进程。
  • 安装命令仅 README 中给出的 pip 与 conda 两种,README 未提供其他安装方式。
  • README 的 Getting started 章节内容为空,具体用法请参考官方文档链接。

核心亮点

  • 提供 100+ 指标,覆盖数据漂移、数据质量、模型性能和 LLM 特定指标,功能全面
  • 生成交互式 HTML 报告,支持 Jupyter Notebook 内直接可视化,分析体验流畅
  • 支持与 CI/CD 集成,可自动化测试和监控模型,适合生产环境部署

不足之处

  • 文档/社区待观察
  • Jupyter Notebook 为主要语言,可能影响非 Notebook 用户的集成体验

适用场景

  • 监控生产环境中机器学习模型的数据漂移和性能退化
  • 评估和监控 LLM 应用(如 RAG 系统)的输出质量和幻觉风险
  • 在 CI/CD 流程中自动运行模型验证测试,确保模型上线前质量

替代项目

WhyLabs、Arize Phoenix、MLflow

上一篇:phoenix

下一篇:openllmetry

同类项目推荐

FastDeploy 开源

用飞桨生态,一键部署大模型到生产环境

High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddleP···

★ 3725 2026-08-09
comfy-trt-test 开源

给ComfyUI装上TensorRT引擎,让SD出图更快

attempt to use TensorRT with ComfyUI

★ 81 2026-08-09
antirion 开源

一个 Rust 二进制统一管住所有大模型调用

️ The fastest open-source AI Gateway and LLM Gateway — one binary with built-in co···

★ 455 2026-10-21
Portable-Local-Studio 开源

一个界面跑齐本地画图、聊天、朗读和听写,免安装随身带

Portable local AI studio for Windows, Linux, and macOS. Zero-setup GUI for Image Gen···

★ 1983 2026-09-23
freebucks-proxy 开源

多账号池化 OpenAI 网关,编码模型调用不再被限流卡住

Archived; no longer maintained.

★ 297 2026-09-21
inferoxy 开源

一键部署 Docker 化 CV 模型,快速上线推理服务

Service for quick deploying and using dockerized Computer Vision models

★ 95 2026-08-09
cactus 开源

让手机和机器人秒级跑起 AI 模型,省电又流畅

Sub-50mb agentic, voice and vision intelligence for consumer devices.

★ 14626 2026-08-09
Claudoscope 开源

给 Claude Code 装上实时监控仪表盘,会话安全一目了然。

native macOS app that gives you a real-time dashboard for your Claude Code and Cowor···

★ 274 2026-08-09
simpleAI 开源

一键自托管 AI API,无缝替换 OpenAI 接口

An easy way to host your own AI API and expose alternative models, while being compa···

★ 327 2026-08-09