deepeval

环境要求

• Python 3.9 或更高版本（README 明确要求 Python>=3.9+）
• 已安装 pip 包管理工具
• 一个可调用的 LLM 应用或 Agent（如 RAG 客服机器人、LangChain/LangGraph 应用）
• 可选：Confident AI 托管评估平台账号，用于集中管理测试结果

安装与启动步骤

1. 1确认 Python 版本

   DeepEval 要求 Python 3.9 及以上，先确认本地版本，低于 3.9 需先升级再安装。

   python --version

   复制

2. 2安装 DeepEval

   通过 pip 安装并升级到最新版 DeepEval，这是 README 给出的唯一安装方式。

   pip install -U deepeval

   复制

3. 3接入你的 LLM 应用

   在现有应用循环中挂上评测指标，示例为 LangChain 集成，其他框架参考 README 的 Integrations 折叠块。

   from deepeval.integrations.langchain import CallbackHandler
   from deepeval.metrics import TaskCompletionMetric
   
   for golden in dataset.evals_iterator():
       llm.invoke(
           golden.input,
           config={"callbacks": [CallbackHandler(metrics=[TaskCompletionMetric()])]},
       )

   复制

4. 4运行评测

   用 deepeval 命令行执行评测套件，观察各指标的通过或失败情况。

   deepeval test run

   复制

5. 5迭代修复失败指标

   针对未通过的指标调整提示词或流程后重跑评测，README 的 vibe-coder 指南即为此流程。

如何确认成功

运行 deepeval test run 无报错，并能看到各条评测指标的通过/失败结果。

常见问题

注意事项

• DeepEval 以 Python 库形式分发，README 未提供 Docker 或独立服务端部署方式。
• README 节选中未列出评测所需 API Key 的环境变量名，使用前请以官方文档为准。
• 部分示例代码中的 dataset、llm、agent 等对象需由你自己的项目和数据集提供。
• Confident AI 平台为可选项，不接入也可本地运行评测。