llm-observability

本站收录 36 个带「llm-observability」标签的 AI 开源项目

langfuseLangfuse 是一个开源的 AI 工程平台，专注于 LLM 应用的可观测性、评估与提示词管理。它解决了 LLM 应用开发中调试困难、质量评估主观、提示词迭代★ 35,205opikOpik 是一个开源的大语言模型（LLM）应用可观测性与评估平台，旨在帮助开发者调试、评估和监控基于 LLM 的应用，包括 RAG 系统和智能体工作流。它通过全★ 22,289voltagentvoltagent 是一个基于 TypeScript 的开源 AI Agent 工程平台，旨在帮助开发者构建、部署和管理复杂的 AI 智能体。它解决的核心问题是★ 10,703bifrostBifrost 是一个用 Go 构建的企业级 AI 网关，定位为比 LiteLLM 快 50 倍的超高性能代理层。它解决企业在接入多家大模型时的统一管理、流量调★ 8,448llm-gatewayllm-gateway 是一个用 TypeScript 编写的 LLM 统一网关，定位是让各类 AI Agent 与开发框架能够无缝对接任意模型供应商。它解决的★ 7,544heliconeHelicone 是一个开源的 LLM 可观测性平台，旨在帮助开发者监控、评估和优化大语言模型应用。它通过一行代码集成，即可捕获所有 LLM 请求的日志、成本、★ 6,188coze-loopcoze-loop 是一个面向 AI Agent 的全生命周期优化平台，旨在解决 Agent 开发中调试难、评估缺、监控弱的问题。它提供从开发、调试、评估到监控★ 5,752failproofaifailproofai 是一个面向 AI 编码代理的运行时故障解决方案库，通过钩子（hooks）机制集成到 Claude Code、Codex、Cursor 等★ 5,234latitude-llmLatitude 是一个面向 AI Agent 的开源可观测性平台。它解决的核心问题是：当 LLM Agent 在生产环境中表现异常时，开发者往往只能看到最终输★ 4,687logfireLogfire 是一个面向生产环境 LLM 和智能体系统的 AI 可观测性平台，旨在解决 AI 应用调试难、追踪难、评估难的问题。它提供开箱即用的日志、指标、追★ 4,496AcontextAcontext 是一个面向 AI Agent 的上下文数据平台，将 Agent Skills 作为记忆层，解决 Agent 在长时间运行中上下文丢失、记忆碎片★ 3,696lmnrLaminar 是一个专为 AI 智能体（Agent）设计的开源可观测性平台，来自 YC S24。它解决了 AI 应用在生产环境中调试困难、追踪复杂的问题，提供★ 3,287openlitOpenLIT 是一个面向 AI 工程的开源可观测性平台，基于 OpenTelemetry 原生标准，帮助开发者监控、评估和优化 LLM 应用。它解决 AI 应★ 2,804future-agiFuture AGI 是一个开源的端到端平台，用于评估、观测和优化 LLM 及 AI 智能体应用。它集成了追踪、评测、模拟、数据集管理、网关和护栏等核心功能，帮★ 2,102TracelyTracely 是一个面向 AI 智能体的原生 CI/CD 工具，旨在解决 LLM 应用在生产环境中失败后难以复现和回归测试的问题。它能自动检测生产环境中的 A★ 1,421Tracely-aiTracely-ai 是一个面向 AI 代理（agent）的 CI/CD 原生可观测与评测工具，旨在解决 AI 应用在生产环境中出现故障后难以复现和回归测试的问★ 1,421judgevaljudgeval 是一个面向 AI Agent 的持续改进与评测平台，旨在解决 Agent 在生产环境中缺乏系统性评估与监控的问题。它提供了丰富的评测数据集和评★ 1,063ThinkWatchThinkWatch 是一个面向企业的 AI 安全堡垒机，为 AI API 和 MCP（模型上下文协议）访问提供统一代理层。它解决企业在接入多家 AI 服务（如★ 815tracerootTraceRoot 是一个面向 AI Agent 的开源可观测性与自我改进层，由 YC S25 团队打造。它解决的核心问题是：当 AI Agent 在生产环境运★ 785trinityTrinity 是一个可自托管的 AI 智能体平台，目标是把 Claude Code、Codex、Gemini 等不同厂商的编码智能体统一到一个运行与治理层中。★ 603AegisAegis 是一个面向 AI 代理的运行时策略执行引擎，旨在解决 AI 代理在自主执行任务时缺乏安全管控的问题。它通过加密审计日志、人工审批（human-in-★ 452clawmetryclawmetry 是一个面向 AI 智能体的实时可观测性平台，支持 OpenClaw、NVIDIA NemoClaw、Claude Code、Codex 等 ★ 423agent-prismagent-prism 是一套基于 React 的组件库，专门用来可视化 AI Agent 的执行轨迹（trace）。随着 LLM 应用从单次问答走向多步骤、多★ 393palico-aiPalico AI 是一个面向 AI 应用开发的全生命周期管理平台，旨在帮助开发者构建、优化性能并将 AI 应用推向生产环境。它解决了 AI 应用从原型到生产过★ 3431flowbase1flowbase 是一个自托管的 AI 网关，用 Rust 编写，旨在解决 AI 应用与业务数据集成时的协议混乱、调度复杂和日志缺失问题。它提供协议转换（如 ★ 265awesome-ai-tokenomics这是一个关于AI token成本管理的精选资源列表，汇集了工具、基准、论文和可直接复制的配置，旨在帮助开发者理解token的定价、找出浪费点并降低费用。项目围绕★ 190oss-llmops-stackoss-llmops-stack 是一个模块化的开源 LLMOps 技术栈，旨在将 LLM 应用开发中的不同关注点分离，解决工具碎片化和集成复杂的问题。它整合了★ 153GozarGozar 是一个自托管的、以 Docker 优先的 OpenAI 兼容 LLM 网关。它主要解决企业在使用多个大模型提供商（如 OpenAI、Anthropi★ 128agentwatchagentwatch 是一个面向 AI 智能体的可观测性框架，旨在帮助开发者深入洞察智能体与各平台之间的交互过程。它解决了 AI 应用调试和优化中“黑盒”问题，★ 125inferock-benchinferock-bench 是一个面向本地 LLM 调用的成本追踪代理，支持 OpenAI、Anthropic、Gemini 以及固定的 OpenRouter★ 122tma1TMA1 是一个面向 AI 代理的本地优先可观测性工具，用 Go 编写。它记录每一个 LLM 调用，并通过钩子（hooks）和 MCP 将观察到的信息注入到代理★ 119axax 是一个面向 AI 编程代理（如 Claude Code 和 Codex）的体验层，专注于提供可观测性和记忆功能。它采用本地优先（local-first）的★ 113heronHeron 是一个基于 Rust 构建的智能体与 LLM API 性能监控工具，通过网络数据包探测的方式，在服务提供方侧部署，无需修改 SDK 即可测量 Ope★ 104continuumContinuum 是 ShyftLabs 推出的智能体运行时，旨在帮助企业构建、编排和部署 AI 智能体。它解决了多智能体系统中任务分配、状态管理和工具调用的★ 84langfuse-javalangfuse-java 是 Langfuse 的官方 Java 客户端，用于自动生成 API 封装，方便 Java 开发者集成 LLM 可观测性与追踪功能。★ 74gpu-telemetrygpu-telemetry 是一个面向 GPU 可观测性的开源项目，核心解决 GPU 资源在 Kubernetes 或 Slurm 集群中“被谁使用”的问题。它★ 70

相关标签

llm3262llmops231observability114open-source515openai1183agent-observability23ai-agents1770monitoring58llm-evaluation71self-hosted431langchain384ai2627