llm-ops

本站收录 17 个带「llm-ops」标签的 AI 开源项目

kongKong 是一个云原生的 API 网关和 AI 网关,基于 Nginx 和 OpenResty 构建,使用 Lua 编写。它解决了微服务架构中 API 管理、流★ 44,379OpenLLM让任意开源 LLM(如 DeepSeek、Llama)一键以 OpenAI 兼容的 API 形式部署到云端的工具。它屏蔽了模型服务化的复杂度,提供标准化的推理接★ 12,600astron-agentastron-agent 是一个企业级、可商用的智能体工作流平台,旨在帮助开发者构建下一代 SuperAgents。它基于 Java 技术栈,提供了一套完整的工★ 8,930julepJulep 是一个面向生产环境的持久化、可组合 AI 智能体框架。它解决的核心问题是:传统智能体在长流程执行中一旦崩溃或出错,往往需要从头重跑,且难以追踪每一步★ 6,581langwatchLangWatch是一个面向LLM评估与AI智能体测试的开源平台,旨在解决大模型应用开发中评估难、调试烦、监控弱的问题。它提供从数据采集、数据集管理、评估实验到★ 5,033cognitaCognita 是一个由 TrueFoundry 开源的模块化 RAG(检索增强生成)框架,旨在帮助开发者快速构建生产级、可扩展的 RAG 应用。它解决了 RA★ 4,409TracelyTracely 是一个面向 AI 智能体的原生 CI/CD 工具,旨在解决 LLM 应用在生产环境中失败后难以复现和回归测试的问题。它能自动检测生产环境中的 A★ 1,299Tracely-aiTracely-ai 是一个面向 AI 代理(agent)的 CI/CD 原生可观测与评测工具,旨在解决 AI 应用在生产环境中出现故障后难以复现和回归测试的问★ 1,299JamAIBaseJamAIBase 是一个将电子表格与 AI 能力深度融合的协作平台,旨在解决 AI 应用开发中提示词调试、模型对比和结果评估流程繁琐的问题。它允许用户将单元格★ 1,103ai-sdlcai-sdlc 是一个面向 AI 增强软件开发生命周期的声明式治理框架,用 TypeScript 编写。它要解决的问题是:当团队把 AI 编码代理(如各类 AI★ 444ultracontextultracontext 是一个面向 AI 智能体的开源上下文基础设施,目标是解决多智能体协作中上下文分散、重复采集和难以共享的问题。它提供统一的上下文 API★ 442athina-evalsathina-evals 是一个用于评估大语言模型(LLM)生成响应的 Python SDK。它解决了开发者在构建 LLM 应用时难以系统化、自动化评估输出质量★ 302lintlanglintlang 是一个针对 AI 智能体配置的静态分析工具,专注于在运行时之前发现工具描述模糊、缺少停止条件、schema 不完整等问题。它采用零 LLM 的★ 147ollamaMQollamaMQ 是一个用 Rust 编写的高性能 LLM 后端代理,位于客户端与 Ollama、OpenAI 兼容接口等推理服务之间。它解决的核心问题是:多个★ 133AxonAxon 是一个基于 OpenTelemetry 原生的 LLM 可观测性命令行工具。它解决了开发者在构建和调试 LLM 应用及智能体时,缺乏直观、实时追踪内部★ 96awesome-ai-agents-security这是一个关于AI智能体安全的精选资源列表,旨在绘制AI代理安全生态系统的活地图。它系统整理了该领域的关键主题,包括自主代理、生成式AI、网络安全、护栏、越狱攻击★ 80agent-osagent-os 是一个已废弃的智能体治理与安全框架,由微软发起,现已迁移至 microsoft/agent-governance-toolkit。它旨在解决企★ 74