llmops
本站收录 231 个带「llmops」标签的 AI 开源项目（按 GitHub 星标从高到低，此处展示前 50 个）
litellmlitellm 是一个轻量级 AI 网关，核心用 Rust 编写，同时提供 Python SDK，可以统一调用 100 多种 LLM API（如 OpenAI、★ 59,873
llm-app开箱即用的云端模板，快速搭建 RAG、AI 流水线与企业级实时数据搜索应用。Docker 友好，可实时同步 SharePoint、Google Drive、S3★ 58,870
Made-With-ML一套面向生产级机器学习应用的完整学习课程，手把手教你如何开发、部署并持续迭代 ML 应用。内容覆盖从实验到上线的全流程实践，配有代码示例，适合希望系统掌握工程化★ 49,652
langfuseLangfuse 是一个开源的 AI 工程平台，专注于 LLM 应用的可观测性、评估与提示词管理。它解决了 LLM 应用开发中调试困难、质量评估主观、提示词迭代★ 35,205
composioComposio 是一个为 AI 代理提供工具集成与执行的基础设施平台。它解决了 AI 代理在调用外部工具时面临的集成复杂、认证繁琐、执行环境不安全等问题。核心★ 30,365
mlflow面向 Agent、LLM 与机器学习模型的开源 AI 工程平台，帮助团队完成调试、评估、监控与优化生产级 AI 应用的全流程管理，同时兼顾成本控制与模型、数据的★ 28,183
promptfoopromptfoo 是一个开源的 LLM 评估与红队测试框架，用于系统化测试提示词、智能体（agents）和 RAG 应用。它解决了 AI 应用开发中缺乏标准化★ 25,560
llm-actionllm-action 是一个面向大模型工程师和开发者的开源知识库与实战指南，系统梳理了大模型从训练、微调到推理部署的全链路技术原理与工程实践。项目以教程和代码示★ 25,121
opikOpik 是一个开源的大语言模型（LLM）应用可观测性与评估平台，旨在帮助开发者调试、评估和监控基于 LLM 的应用，包括 RAG 系统和智能体工作流。它通过全★ 22,289
serve基于云原生技术栈构建多模态 AI 应用的框架，让开发者可以像搭积木一样编排微服务化的 AI 流水线。它天然支持文本、图像、音视频等多种模态的模型编排与扩展，配合★ 21,864
SuperAGISuperAGI 是一个面向开发者的开源自主 AI 智能体框架，旨在帮助开发者快速构建、管理和运行实用的自主智能体。它解决了从零搭建智能体基础设施的繁琐问题，提★ 17,701
RagaAI-CatalystRagaAI-Catalyst 是一个面向 Agent AI 的可观测性、监控与评估框架，以 Python SDK 为核心，帮助开发者深入理解、调试和优化基于大★ 16,168
ragasragas 是一个专注于 LLM 应用评估的开源 Python 框架。它解决的是大语言模型应用（如 RAG 系统、对话机器人）在开发过程中缺乏系统化、自动化评估★ 15,880
gatewaygateway 是一个高性能的 AI 网关，旨在统一管理对 1600+ 大语言模型（LLM）的访问，并内置 50+ 种 AI 安全护栏。它通过一个快速且友好的 ★ 13,110
OpenLLM让任意开源 LLM（如 DeepSeek、Llama）一键以 OpenAI 兼容的 API 形式部署到云端的工具。它屏蔽了模型服务化的复杂度，提供标准化的推理接★ 12,548
bishengbisheng 是一个面向企业级 AI 应用的开源 LLM DevOps 平台，旨在解决大模型应用从开发到上线的全生命周期管理问题。它提供 GenAI 工作流编★ 12,015
tensorzero开源的 LLMOps 平台，将 LLM 网关、可观测性、评估、优化与实验管理整合于一体。团队可以在统一界面中路由模型请求、追踪调用质量并持续调优提示词与模型组合★ 11,715
phoenixPhoenix 是一个面向 AI 应用的可观测性与评估平台，由 Arize AI 开发。它解决了 LLM 应用在生产环境中难以调试、评估和优化的问题，为开发者提★ 11,654
metaflowNetflix 开源的 AI/ML 系统构建与管理框架，帮助开发者轻松编写、运行和部署机器学习流水线。它提供了简洁的 Python API，支持本地开发与云端规★ 10,283
BentoML以最简单的方式部署 AI 应用与模型的开源框架，支持构建模型推理 API、任务队列、LLM 应用与多模型流水线。它提供了标准化的服务化流程、容器化打包与云原生扩★ 8,870
rigrig 是一个用 Rust 构建模块化、可扩展 LLM 应用的框架，旨在解决 Rust 生态中缺乏成熟 LLM 开发工具的问题。它提供统一的接口来接入多种主流大★ 8,762
bifrostBifrost 是一个用 Go 构建的企业级 AI 网关，定位为比 LiteLLM 快 50 倍的超高性能代理层。它解决企业在接入多家大模型时的统一管理、流量调★ 8,448
evidentlyEvidently 是一个开源的机器学习和大型语言模型可观测性框架，用于评估、测试和监控任何 AI 驱动的系统或数据管道，覆盖从表格数据到生成式 AI 的广泛场★ 7,949
SoupSoup 是一个用于微调大语言模型（LLM）的开源工具，它通过一个 YAML 配置文件即可完成整个微调流程，极大简化了操作。其核心亮点是采用“层流式训练”（La★ 7,822
openllmetryopenllmetry 是一个面向 GenAI 和 LLM 应用的开源可观测性平台，基于 OpenTelemetry 标准构建。它解决了 LLM 应用在生产环境★ 7,460
planoPlano 是一个面向智能体应用的原生 AI 代理服务器与数据平面，用 Rust 编写。它解决的是 LLM 应用开发中模型路由、可观测性、智能体编排和安全护栏等★ 7,070
clearmlClearML 是一个开源的 MLOps/LLMOps 平台，旨在统一管理机器学习项目的全生命周期。它解决了 AI 开发中实验跟踪、数据管理、流水线编排、模型部★ 6,895
agent-starter-packagent-starter-pack 是一个面向 Google Cloud 的 AI 智能体生产级启动模板集合，旨在将 AI 智能体的部署周期从数月缩短至数分钟★ 6,561
heliconeHelicone 是一个开源的 LLM 可观测性平台，旨在帮助开发者监控、评估和优化大语言模型应用。它通过一行代码集成，即可捕获所有 LLM 请求的日志、成本、★ 6,188
Awesome-LLMOpsAwesome-LLMOps 是一个精选的 LLMOps 工具列表，旨在帮助开发者快速找到适合大语言模型开发运维的最佳实践工具。它系统梳理了从模型训练、微调、部★ 5,951
giskard-ossGiskard 是一个面向 LLM 智能体和应用的自动化评估与测试开源库。它解决了大模型应用上线前缺乏系统性质量保障的问题，提供从单元测试到红队攻击的全链路测试★ 5,846
coze-loopcoze-loop 是一个面向 AI Agent 的全生命周期优化平台，旨在解决 Agent 开发中调试难、评估缺、监控弱的问题。它提供从开发、调试、评估到监控★ 5,752
zenmlZenML 是一个面向机器学习团队的端到端 MLOps 平台，旨在统一从数据准备、模型训练到部署和监控的整个 AI 生命周期。它通过可组合的管道（Pipelin★ 5,597
LLM-Engineers-Handbook《LLM工程师手册》是一份面向大语言模型（LLM）工程实践的开源指南，旨在帮助开发者从零基础掌握LLM的核心概念，并进阶到在AWS云平台上部署高级LLM与RAG★ 5,354
superduperSuperduper 是一个端到端的开源框架，用于构建自定义 AI 应用和智能代理。它解决了将 AI 模型（如 LLM、预训练模型）与现有数据基础设施（尤其是 ★ 5,327
cube-studiocube-studio 是一个开源的云原生一站式 AI 平台，覆盖机器学习、深度学习和 LLMOps 全链路。它解决了 AI 开发中环境搭建复杂、资源利用率低、★ 5,079
langwatchLangWatch是一个面向LLM评估与AI智能体测试的开源平台，旨在解决大模型应用开发中评估难、调试烦、监控弱的问题。它提供从数据采集、数据集管理、评估实验到★ 4,888
cognitaCognita 是一个由 TrueFoundry 开源的模块化 RAG（检索增强生成）框架，旨在帮助开发者快速构建生产级、可扩展的 RAG 应用。它解决了 RA★ 4,419
loraxLorax 是一个专为大规模多 LoRA 推理而设计的高性能服务器，能够同时承载数千个微调后的 LLM。它解决了传统推理服务中每个微调模型需要独立部署、资源消耗★ 3,834
AcontextAcontext 是一个面向 AI Agent 的上下文数据平台，将 Agent Skills 作为记忆层，解决 Agent 在长时间运行中上下文丢失、记忆碎片★ 3,696
trulensTruLens 是一个面向 LLM 实验和 AI Agent 的评估与追踪工具，旨在解决大模型应用开发中‘效果难衡量、问题难定位’的痛点。它提供了一套统一的反馈★ 3,579
lmnrLaminar 是一个专为 AI 智能体（Agent）设计的开源可观测性平台，来自 YC S24。它解决了 AI 应用在生产环境中调试困难、追踪复杂的问题，提供★ 3,287
pezzoPezzo 是一个开源、开发者优先的 LLMOps 平台，旨在简化大语言模型应用的整个生命周期管理。它解决了提示词设计、版本管理、即时交付、团队协作、故障排查和★ 3,276
AGiXTAGiXT 是一个动态的 AI 智能体自动化平台，旨在统一编排和管理来自不同 AI 提供商的指令与复杂任务执行。它通过自适应记忆、智能特性和灵活的插件系统，解决★ 3,218
llm-guardllm-guard 是一个面向大语言模型交互的安全工具包，旨在检测和缓解各类安全威胁，如提示注入、越狱攻击、敏感信息泄露等。它通过输入输出验证、内容过滤、异常检★ 3,212
second-brain-ai-assistant-course这是一个教你构建“第二大脑”AI助手的开源课程项目，基于Jupyter Notebook编写。它系统性地讲解如何利用大语言模型（LLMs）、智能体（Agents★ 3,099
ChainForgeChainForge 是一个开源的视觉编程环境，专为测试和评估大语言模型（LLM）的提示词而设计。它允许用户通过拖拽节点的方式构建提示词流程，并同时向多个模型（★ 3,033
vllm-ascendvllm-ascend 是 vLLM 在华为昇腾（Ascend）硬件上的社区维护插件，旨在让 vLLM 这一主流大模型推理框架能够无缝运行在昇腾 NPU 上。它★ 2,911
OpenPipeOpenPipe 是一个将昂贵的大模型提示词转化为廉价微调模型的开源工具。它主要解决企业在使用 GPT-4 等高级模型时成本过高的问题，通过记录和优化提示词，自★ 2,831
openlitOpenLIT 是一个面向 AI 工程的开源可观测性平台，基于 OpenTelemetry 原生标准，帮助开发者监控、评估和优化 LLM 应用。它解决 AI 应★ 2,804