项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 412
使用教程
环境要求
- Node.js 18+
- 一个观测后端
安装与启动步骤
-
1装 SDK
Node 侧的可观测性 SDK。
npm install --save @traceloop/node-server-sdk -
2初始化并配导出地址
数据要落到你的观测后端。
-
3包住一次模型调用
先看单次调用的链路是否完整。
-
4看 token 与延迟分布
这是它最直接的用途。
如何确认成功
一次模型调用能在观测面板里看到完整的调用链、token 数与耗时，且异常调用被标红
注意事项
- 它给 Node 应用加模型调用的可观测性，属于运维基础设施。
- 默认会记录提示与回复内容，敏感场景要关或脱敏。
- 采样率设太高会显著增加开销与存储成本。
- 跨服务追踪需要统一上下文传递。
核心亮点
- 基于 OpenTelemetry 标准，可无缝对接现有监控基础设施，避免厂商锁定
- 自动埋点主流 LLM 提供商，无需侵入式代码即可追踪调用链路
- 提供 Token 消耗和延迟追踪，帮助定位成本与性能瓶颈
不足之处
- 项目早期，文档和社区支持尚不完善
- 支持的 LLM 提供商范围有限，可能不覆盖所有小众模型
适用场景
- LLM 应用开发调试，快速定位提示词或模型响应异常
- 生产环境监控，追踪 API 调用成本与延迟，优化资源分配
- 构建统一的可观测性平台，将 LLM 调用与传统服务日志集成
替代项目
OpenLLMetry (Python)、Langfuse、Helicone
同类项目推荐
kitchenai
开源
让AI团队像做菜一样，轻松管理模型和提示词，快速上线应用。
Open Source LLMOps tool for AI teams
csghub
开源
自建 Hugging Face，私有化掌控模型全生命周期
CSGHub is a brand-new open-source platform for managing LLMs, developed by the OpenC···
metal-flash-attention
开源
在 Apple 芯片上让注意力计算飞起来，加速 Stable Diffusion 推理。
FlashAttention (Metal Port)
OpenMetadata
开源
统一元数据与血缘，让数据资产可发现、可信任、可被 AI 使用
The Open Context Layer for Data and AI , OpenMetadata is the open platform for buil···
NoLlama
开源
让 Intel NPU 跑起 Ollama 风格本地大模型 API
NPU Ollama - An Ollama/OpenAI compatible API for Intel OpenVINO compatible computers
InfiniTensor
开源
让大模型在多种 GPU 上快速跑起来并方便做实验
InfiniTensor is a high-performance inference engine tailored for GPUs and AI acceler···
AVH
开源
用 Arm 虚拟硬件，免开发板跑嵌入式软件
This repository explains the usage of Arm Virtual Hardware Fixed Virtual Platforms (···
Memori
开源
给 AI 装上持久记忆，让智能体不再失忆
Memori is agent-native memory infrastructure. A LLM-agnostic layer that turns agent ···
spellbook-docker
开源
一条命令拉起本地多模型AI全家桶
AI stack for interacting with LLMs, Stable Diffusion, Whisper, xTTS and many other A···