langsmith-sdk

给 LLM 应用装上黑匣子,调用全记录、效果可对比

开源 🏷️基础免费,高级付费 ✅ 目前可打开 基础设施 🍴 复刻 315 🐛 待处理 227 👀 关注 15 ⚠️ 作者已归档(停止维护)
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1083
维护状态 较活跃
是否开源 开源
定价模式 🏷️基础免费,高级付费 支持限时试用 · LangSmith云服务提供免费开发者套餐,付费按席位/用量计费

项目预览

langsmith-sdk 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队langchain-ai
定价模式🏷️基础免费,高级付费
价格说明LangSmith云服务提供免费开发者套餐,付费按席位/用量计费
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Python
技术栈/模型evaluation,language-model,observability
GitHub 星标★ 1083
上线时间2023-05-30 00:00:00
代码更新2026-10-16
仓库体积37.7 MB
本站数据更新2026-11-02
维护状态较活跃
收录时间2026-09-12
浏览次数2

项目介绍

langsmith-sdk 是 LangChain 官方推出的 LangSmith 平台客户端 SDK,提供 Python 与 JavaScript 实现。它解决的是 LLM 应用开发中「黑盒调试难、效果评估散、线上问题难追溯」的问题。核心能力包括:自动记录每次模型调用的输入输出、耗时、token 消耗与错误堆栈,形成可检索的 trace;支持构建数据集、运行批量评估、对比不同 prompt 或模型版本的得分;提供反馈收集接口,把人工标注或用户评分写回平台;还能与 LangChain、OpenAI 等生态无缝集成,只需设置环境变量即可开启追踪。对开发者而言,它把原本靠打印日志和手工表格完成的调试与评测流程,变成可视化、可复现、可协作的工程化能力,适合从原型到生产的全周期使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-12 · 当前星标 ★ 1083

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • Python 环境,可使用 pip 安装包
  • 有效的 LangSmith API Key(形如 ls_...)
  • 使用 org-scoped key 时需提供 Workspace ID
  • 可选:Node.js 环境与 pnpm,用于 JavaScript/TypeScript SDK

安装与启动步骤

  1. 1安装 Python SDK

    用 pip 安装或升级官方 langsmith 包,这是追踪与评估功能的基础依赖。

    pip install -U langsmith
  2. 2配置环境变量

    开启追踪并填入 API Key;若用 org-scoped key 还需填 Workspace ID。注意不要把真实密钥提交到代码仓库。

    export LANGSMITH_TRACING=true
    export LANGSMITH_API_KEY=ls_xxxxxxxx
    export LANGSMITH_WORKSPACE_ID=<your-workspace-id>
  3. 3包装 OpenAI 客户端

    用 wrap_openai 包装 OpenAI 客户端,之后所有 chat.completions 调用会被自动记录为 trace。

    import openai
    from langsmith import traceable
    from langsmith.wrappers import wrap_openai
    
    client = wrap_openai(openai.Client())
    
    client.chat.completions.create(
        messages=[{"role": "user", "content": "Hello, world"}],
        model="gpt-5.4"
    )
  4. 4(可选)安装 JS SDK

    如使用 JavaScript / TypeScript,用 pnpm 添加 langsmith 包,环境变量配置方式与 Python 相同。

    pnpm add langsmith
  5. 5(可选)JS 追踪示例

    用 wrapOpenAI 包装 OpenAI 客户端并调用接口,即可在平台上看到对应的 trace 记录。

    import { OpenAI } from "openai";
    import { traceable } from "langsmith/traceable";
    import { wrapOpenAI } from "langsmith/wrappers";
    
    const client = wrapOpenAI(new OpenAI());
    
    await client.chat.completions.create({
      model: "gpt-5.4",
      messages: [{ content: "Hi there!", role: "user" }],
    });

关键配置

配置项必填说明示例
LANGSMITH_TRACING是开启自动追踪开关,设为 true 后调用才会被记录true
LANGSMITH_API_KEY是LangSmith 平台访问密钥,用于上报 trace 数据ls_xxxxxxxx
LANGSMITH_WORKSPACE_ID否使用 org-scoped key 时必填,指定数据归属的工作区<your-workspace-id>

如何确认成功

脚本能正常返回 chat.completion 结果(含 usage token 统计),并可在 smith.langchain.com 平台看到对应 trace。

常见问题

Q:必须使用 LangChain 才能用吗?

A:不是。SDK 适用于任意 LLM 应用,只是内置了与 LangChain Python / LangChain JS 的原生集成。

Q:LANGSMITH_WORKSPACE_ID 一定要设置吗?

A:不一定。README 说明仅当使用 org-scoped key 时它是必填项,普通 key 可省略。

Q:JavaScript 版怎么安装?

A:使用 pnpm add langsmith 安装,然后按 JS README 配置同样的三个环境变量即可。

Q:还有更详细的用法文档吗?

A:有。仓库内提供 python/README.md 与 js/README.md,官方文档见 docs.smith.langchain.com。

注意事项

  • API Key 属于敏感凭证,不要硬编码进源码或提交到仓库。
  • 本仓库同时包含 Python 与 JavaScript 两个 SDK,按需查阅对应目录的 README。

核心亮点

  • 与 LangChain 生态深度绑定,设置环境变量即可自动埋点,接入成本极低
  • 支持 trace、数据集、评估、反馈四位一体,覆盖调试到评测的完整闭环
  • 同时提供 Python 和 JS SDK,前后端团队可共用同一套观测数据

不足之处

  • 核心功能依赖 LangSmith 云端服务,离线或私有化部署能力有限
  • 脱离 LangChain 生态单独使用时,需手动埋点,便利性下降

适用场景

  • 调试多步 Agent 时,逐层查看每步工具调用与模型输出的耗时和错误
  • 上线前用固定数据集批量跑评估,对比不同 prompt 版本的准确率
  • 收集线上用户点赞/点踩反馈,定位低质量回答并回流到数据集

替代项目

langfuse、phoenix、wandb

上一篇:memoket-kite

下一篇:github-copilot-api-vscode

同类项目推荐

sdk 开源

给生产级 ML 装个元数据仓库,让模型资产可追踪、可复现。

Metadata store for Production ML

★ 87 2026-08-09
spectralquant 开源

旋转特征基+注水位分配,KV-Cache 压缩不降精度

SpectralQuant: Calibrated Eigenbasis Rotation and Water-Filled Bit Allocation for KV···

★ 204 2026-08-09
olleh 开源

用 Ollama 的姿势,跑 Apple 的模型

An Ollama-compatible CLI for Apple's Foundation Models

★ 190 2026-08-09
graphjin 开源

给AI代理一个统一数据入口,安全读写数据库和API

One governed graph for AI agents — GraphQL + MCP over your databases, files, APIs, ···

★ 3226 2026-08-09
omniai 开源

一个 Ruby 库,统一多家 AI 接口,切换模型像换插件一样简单。

OmniAI standardizes the APIs for multiple AI providers like OpenAI's Chat GPT, Mistr···

★ 254 2026-08-09
ax-llm 开源

把大模型塞进爱芯芯片,OpenAI 接口即插即用

Explore LLM model deployment based on AXera's AI chips, It provides OpenAI‑compatib···

★ 170 2026-09-26
OpenSandbox 开源

给AI智能体一个安全可控的“手脚”,放心让它干活

Secure, Fast, and Extensible Sandbox runtime for AI agents.

★ 16390 2026-08-09
litellm-relay 开源

一步接入所有 AI 工具,统一走你的 LiteLLM 网关

Onboard AI tools in one step, and catch the rest. Relay sets up Claude Desktop, Clau···

★ 113 2026-08-09
spark-vllm-docker 开源

双 DGX Spark 一键 Docker 跑 vLLM 推理

Docker configuration for running VLLM on dual DGX Sparks

★ 2465 2026-10-14