openevals

环境要求

• Python 环境（使用 Python 版 openevals）
• pip 包管理器
• OpenAI API Key（LLM-as-judge 评测器需要）
• Node.js/npm（仅 TypeScript 用户需要）
• E2B API Key（仅使用代码执行/类型检查评测器时需要）

安装与启动步骤

1. 1安装 openevals

   按 README 的安装说明用 pip 安装 Python 版 openevals 包，安装完成后即可在项目中导入使用。

   pip install openevals

   复制

2. 2设置 OpenAI 密钥

   Quickstart 使用 OpenAI 模型充当裁判，需要把 API Key 写入环境变量 OPENAI_API_KEY，示例值请替换为真实密钥。

   export OPENAI_API_KEY="your_openai_api_key"

   复制

3. 3编写首个评测脚本

   用 create_llm_as_judge 配合 CONCISENESS_PROMPT 构造简洁性评测器，model 指定为 openai:gpt-5.6-sol；README 示例到 outputs 定义处被截断。

   from openevals.llm import create_llm_as_judge
   from openevals.prompts import CONCISENESS_PROMPT
   
   conciseness_evaluator = create_llm_as_judge(
       # CONCISENESS_PROMPT is just an f-string
       prompt=CONCISENESS_PROMPT,
       model="openai:gpt-5.6-sol",
   )
   
   inputs = "How is the weather in San Francisco?"
   
   # These are fake outputs, in reality you would run your LLM-based system to get real outputs
   outputs = "Thanks for asking! The current weather in San Francisco is sunny and 90 degrees."

   复制

4. 4可选：安装 OpenAI 客户端

   默认使用 LangChain chat model integrations 并自带 langchain_openai；如果偏好直接用官方 OpenAI 客户端，README 给出该安装命令。

   pip install openai

   复制

5. 5可选：E2B 代码评测

   使用 E2B 沙箱做代码执行/类型检查评测时，TypeScript 需装对等依赖 @e2b/code-interpreter，并设置 E2B_API_KEY 环境变量。

   npm install @e2b/code-interpreter
   process.env.E2B_API_KEY="YOUR_KEY_HERE"

   复制

关键配置

如何确认成功

运行评测器无报错，并打印出形如 {'key': ..., 'score': ..., 'comment': ...} 的评测结果字典。

常见问题

注意事项

• openevals 定位是评测起点，可在其预置评测器基础上编写更贴合自身应用的定制评测。
• 向 E2B 评测器传入 environment_variables/environmentVariables 后，模型生成的代码可在沙箱内读取这些变量，存在安全风险，需谨慎使用。
• README 建议先了解 LangSmith 的 evaluation concepts 文档，便于理解评测概念。
• 评测结果可与 LangSmith 等实验追踪平台集成，方便对比不同提示词、模型或检索策略。