uptrain

环境要求

• Python 环境（用于 pip 安装 uptrain 包）
• OpenAI API Key（开源版本评估需要）
• 能访问互联网以调用 OpenAI 接口

安装与启动步骤

1. 1安装 uptrain 包

   使用 pip 从 PyPI 安装 uptrain，建议在虚拟环境中执行以避免依赖冲突。

   pip install uptrain

   复制

2. 2配置 OpenAI 密钥

   在代码中填入你的 OpenAI API Key，开源版本通过它来执行各项评估检查。

   OPENAI_API_KEY = "sk-***************"

   复制

3. 3编写评估数据

   准备待评估样本列表，每条包含 question、context、response 三个字段。

   data = [{'question': 'Which is the most popular global sport?', 'context': '...', 'response': 'Football is the most popular sport with around 4 billion followers worldwide'}]

   复制

4. 4初始化 EvalLLM

   导入 EvalLLM 与 Evals，并用 API Key 实例化评估对象。

   from uptrain import EvalLLM, Evals
   eval_llm = EvalLLM(openai_api_key=OPENAI_API_KEY)

   复制

5. 5执行评估检查

   调用 evaluate 方法，传入数据与所需检查项，例如上下文相关性、事实准确性、回答完整性。

   results = eval_llm.evaluate(
       data=data,
       checks=[Evals.CONTEXT_RELEVANCE, Evals.FACTUAL_ACCURACY, Evals.RESPONSE_COMPLETENESS]
   )
   print(json.dumps(results, indent=3))

   复制

6. 6运行 Dashboard

   README 提供 run_uptrain.sh 脚本启动 UpTrain Dashboard，当前为 Beta 版本。

   bash run_uptrain.sh

   复制

关键配置

如何确认成功

运行评估脚本后能打印出各检查项的评分结果 JSON，即表示调用成功。

常见问题

注意事项

• README 未给出系统依赖或 Python 版本要求，建议使用较新的 Python 3 环境。
• 评估会调用 OpenAI 接口，注意密钥安全与调用费用。
• Dashboard 处于 Beta，功能可能变动。