trulens

环境要求

• 已安装 Python 环境，可使用 pip 安装包
• 需要一个可用的 LLM 提供商（如 OpenAI、LiteLLM、Google 等）用于反馈评估
• 如需与 LangChain/LlamaIndex 集成，需先有对应的应用框架环境

安装与启动步骤

1. 1安装核心包

   从 PyPI 安装 TruLens 主包，这是所有功能的基础依赖。

   pip install trulens

   复制

2. 2安装提供商包

   按你实际使用的 LLM 提供商选择一个安装，用于运行反馈评估（judges）。

   pip install trulens trulens-providers-openai

   复制

3. 3安装框架集成包

   如果你的应用基于 LangChain/LangGraph 或 LlamaIndex，按需安装对应集成包。

   pip install trulens trulens-apps-langchain

   复制

4. 4在线记录一次调用

   用 tru_recorder 上下文管理器包裹应用调用，评估随应用运行实时进行。

   with tru_recorder as recording:
       response = my_app.query("What is TruLens?")

   复制

5. 5批量评估数据集

   用 Run API 对已收集的数据集做批量评估，需先构造 RunConfig 并添加到 app。

   from trulens.core.run import RunConfig
   
   run_config = RunConfig(
       run_name="batch_eval_v1",
       dataset_name="eval_questions",
       source_type="TABLE",
       dataset_spec={"input": "QUESTION"},
       invocation_max_workers=8,
       metric_max_workers=4,
   )
   run = tru_app.add_run(run_config=run_config)
   run.start()
   run.compute_metrics([relevance, groundedness])

   复制

关键配置

如何确认成功

执行 with 语句后能正常返回 response，且 run.start() 与 compute_metrics() 调用无报错，说明安装与接入成功。

常见问题

注意事项

• 安装时把 trulens 与所需的 providers/apps 包写在同一条 pip install 命令里，避免版本不一致。
• TruLens 的追踪基于 OpenTelemetry 原生实现，trace 可导出到任意 OTLP 后端。
• 评估会调用 LLM 提供商，运行前请确保对应提供商的密钥已正确配置。
• README 未给出具体的 Python 版本要求、端口或仪表盘启动命令，请以官方文档 www.trulens.org 为准。