llmops 第 4 页
本站收录 233 个带「llmops」标签的 AI 开源项目（按 GitHub 星标从高到低，第 4 / 5 页）
PromethAI-BackendPromethAI-Backend 是一个开源框架，用于构建帮助用户进行决策、设定个性化目标并执行这些目标的 AI 智能体。它基于 Python 和 LangC★ 190
vibepod-clivibepod-cli 是一个统一的命令行工具，用于在隔离容器中运行 AI 编码代理。它解决了 AI 编码代理在本地运行时环境不一致、资源冲突以及行为难以观测的★ 186
mcp-server-langfusemcp-server-langfuse 是一个基于 TypeScript 开发的 MCP 服务器，专门用于对接 Langfuse 的提示词管理功能。它通过 Mo★ 176
langfuse-jsLangfuse JS/TS SDK 是 Langfuse 可观测性平台的语言客户端，用于对 LLM 应用进行埋点，采集详细的追踪与监控数据。它解决了 LLM ★ 175
ram-coffersram-coffers 是一个面向 LLM 推理的基础设施优化项目，通过 NUMA 感知的权重银行（weight banking）技术，在 refurbishe★ 172
runbooksRunbooks 是一个基于 Kubernetes 的 LLM 微调工具，旨在通过声明式工作流简化大语言模型的微调过程。它利用 Kubernetes 的弹性资源★ 169
empiricalempirical 是一个用于测试和评估大语言模型（LLM）及其配置的开源基础设施工具。它帮助开发者在应用开发过程中，针对所有关键场景对模型进行系统性的测试和评★ 166
gateway这是一个已弃用的AI网关项目，旨在为构建生产级AI应用提供核心基础设施。它作为统一入口，处理对各类AI模型的请求路由、负载均衡、API密钥管理与访问控制等，解决★ 162
AI-EngineerAI-Engineer 是一个面向 AI 工程师的专题知识库，专注于 Agentic AI（智能体 AI）与生成式 AI（GenAI）的深度讲解。它旨在解决 A★ 161
glideglide 是一个用 Go 编写的开源模型网关，旨在为生产级生成式 AI 应用提供极速、简单的接入层。它解决了企业在集成多个大语言模型（LLM）时面临的统一接口★ 160
trubrics-pythonTrubrics 是一个面向 AI 助手的开源产品分析平台，主要解决 LLM 应用上线后缺乏可观测性和用户行为洞察的问题。它提供 Python SDK 和 AP★ 156
ai-infra-landscapeai-infra-landscape 是一个以 HTML 呈现的生成式 AI 基础设施全景图，旨在梳理和展示支撑生成式 AI 生态的底层技术栈与工具链。它解决了★ 156
oss-llmops-stackoss-llmops-stack 是一个模块化的开源 LLMOps 技术栈，旨在将 LLM 应用开发中的不同关注点分离，解决工具碎片化和集成复杂的问题。它整合了★ 153
aibitataibitat 是一个基于 TypeScript 的多智能体对话框架，旨在帮助开发者构建由多个 AI 代理协作完成任务的应用程序。它解决了单个 LLM 在处理复★ 152
apowerbapowerb 是一个开源的智能体（Agent）开发框架，目标是帮助团队构建、编排并运营可上生产环境的 AI Agent。它面向从原型到落地的完整链路，解决多智★ 149
ai-systemai-system 是一个面向 LLM/MLOps/LLMOps 领域的基础设施项目，旨在为机器学习与大型语言模型的全生命周期管理提供统一的技术底座。它解决的是★ 143
benchmarks这是一个用于主流AI模型上MLOps引擎、框架和语言性能对比的基准测试项目。它通过统一的测试脚本和标准化流程，对不同的MLOps工具链（如模型服务引擎、训练框架★ 143
awesome-ai-repositories这是一个精选的AI工程师开源资源列表，旨在帮助开发者快速发现和定位高质量的人工智能相关开源项目。它解决了AI领域项目分散、质量参差不齐、难以筛选的问题，通过人工★ 139
spelltestspelltest 是一个面向 LLM 应用的 AI-to-AI 测试与模拟框架，旨在解决大语言模型应用在开发、测试和部署过程中缺乏系统性验证手段的问题。它通过★ 138
MaxKB4jMaxKB4j 是一个基于 Java 语言的开源 LLMOps 平台，专注于大模型工作流应用和 RAG（检索增强生成）场景。它借鉴了 MaxKB、Dify 和 ★ 135
llmixllmix 是一个面向 AI 智能体和工具的 LLM 调用层，旨在解决生产环境中多模型切换、稳定性保障和成本控制的问题。它允许开发者继续使用熟悉的 OpenAI★ 132
awesome-ai-gatewayawesome-ai-gateway 是一个聚焦 AI 网关领域的精选资源与知识库项目。它系统梳理了 LiteLLM、OpenRouter、Portkey、Ko★ 131
genai-stackgenai-stack 是一个端到端的生成式 AI 框架，旨在帮助开发者快速搭建从数据接入、模型调用到应用部署的完整 GenAI 应用。它解决了 AI 应用开发★ 131
athina-sdkathina-sdk 是一个用于 LLM 应用生产环境监控与测试的 Python SDK。它主要解决大语言模型应用在真实使用中出现的性能退化、输出质量不稳定、成★ 131
kitchenaikitchenai 是一个面向 AI 团队的开源 LLMOps 工具，旨在简化大语言模型应用的开发、部署和运维流程。它解决了 AI 团队在模型管理、提示词迭代、★ 130
GozarGozar 是一个自托管的、以 Docker 优先的 OpenAI 兼容 LLM 网关。它主要解决企业在使用多个大模型提供商（如 OpenAI、Anthropi★ 129
orlojOrloj 是一个面向多智能体 AI 系统的编排运行时，用 Go 语言编写。它解决的核心问题是：当 AI 系统由多个智能体、工具和策略组成时，如何在生产环境中可★ 125
tma1TMA1 是一个面向 AI 代理的本地优先可观测性工具，用 Go 编写。它记录每一个 LLM 调用，并通过钩子（hooks）和 MCP 将观察到的信息注入到代理★ 120
portkey-python-sdkPortkey Python SDK 是一个用于构建可靠、安全且生产级 AI 应用的开发工具包。它解决了开发者在集成多种大语言模型（LLM）时面临的复杂性、可靠★ 119
SuperKnowaSuperKnowa 是一个面向企业的 RAG（检索增强生成）管道构建框架，旨在通过类似乐高积木的组件拼装方式，快速搭建面向各类生成式 AI 场景的检索增强应用★ 118
raga-llm-hubraga-llm-hub 是一个用于大语言模型（LLM）评估、防护栏（guardrails）和安全的开源框架，基于 Python 构建。它旨在解决 LLM 应用★ 115
nemo-helixNeMo Helix 是 NVIDIA 推出的 AI Agent 全生命周期优化工具，聚焦于让上线的智能体更快、更准、更安全。它面向构建和运维 LLM Agen★ 113
arcadiaArcadia 是一个用 Go 编写的全栈 LLMOps 平台，旨在提供多样化、简单且安全的 AI 应用开发体验。它集成了模型管理、提示词编排、数据管道、评估监★ 111
emmyemmy 是一个面向 LLM 推理的 GPU 编译器优化工具，旨在解决大模型推理性能调优复杂、门槛高的问题。它提供了一系列预置的优化配方，用户可以直接选用，也可★ 111
agentic-rag-financial-parseragentic-rag-financial-parser 是一个面向金融文档的企业级 RAG（检索增强生成）生态系统，旨在解决金融领域大量非结构化文档（如财报、★ 109
inferock-benchinferock-bench 是一个面向本地 LLM 调用的成本追踪代理，支持 OpenAI、Anthropic、Gemini 以及固定的 OpenRouter★ 109
ml_observability_course这是一个免费开源的机器学习可观测性课程，专为数据科学家和机器学习工程师设计。它旨在解决机器学习模型在生产环境中部署后难以监控和调试的问题。课程内容涵盖模型性能监★ 107
llm-api-starterkitllm-api-starterkit 是一个面向初学者的 LLM API 启动套件，旨在帮助开发者快速搭建第一个基于大语言模型的 API 服务。它使用 Pyth★ 105
aiops-modulesAIOps modules 是一套面向 AWS 云上机器学习、基础模型、大语言模型及生成式 AI 开发运维的可复用 IaC 模块集合。它旨在解决 AI/ML 项★ 104
kube-llmopskube-llmops 是一个基于 Kubernetes 的 LLM 运维工具，旨在解决大语言模型应用在 Kubernetes 集群中的部署、管理和运维难题。它★ 103
heronHeron 是一个基于 Rust 构建的智能体与 LLM API 性能监控工具，通过网络数据包探测的方式，在服务提供方侧部署，无需修改 SDK 即可测量 Ope★ 103
llmakerllmaker 是一个面向开发者的自托管 LLM 工具链管理工具，旨在让你通过终端一键部署和运行完整的现代大语言模型技术栈。它解决了自托管 LLM 过程中环境配★ 103
promptdeskPromptdesk 是一个面向提示词工程与 LLM 评估的开源工具，旨在帮助开发者高效地创建、组织、测试和评估提示词及大语言模型。它解决了提示词管理混乱、评估★ 99
turbularturbular 是一个 MCP 服务器，让 LLM 智能体能够轻松连接并检索任何数据库中的数据。它解决了大模型应用与异构数据库之间集成困难的问题，通过标准化的★ 99
ceecee 是一个用 Go 编写的智能体工作流执行引擎，采用“确定性优先”的设计理念：让 LLM 在边缘环节（如意图提取、参数抽取）发挥能力，而核心决策由确定性的状★ 97
log10log10 是一个 Python 客户端库，旨在提升 LLM 应用的准确性。它通过提供数据记录、调试、评估和反馈收集等功能，帮助开发者系统性地改进基于大语言模型★ 97
clearml-fractional-gpuClearML Fractional GPU 是一个基础设施工具，旨在解决单个 GPU 上运行多个容器时的资源隔离问题。它通过驱动级内存限制和计算时间切片，让多★ 97
sample-genai-on-eks-starter-kit这是一个在 Amazon EKS 上快速部署生产级生成式 AI 基础设施的工具包。它解决了企业在 AWS 上搭建 GenAI 平台时面临的组件集成复杂、配置繁琐★ 96
mlodamloda 是一个面向 AI 和机器学习场景的开源数据访问框架，采用插件化架构设计，旨在解决 AI 应用开发中数据获取、特征工程和上下文构建的碎片化问题。它提供★ 96
superdensesuperdense 是一个面向编码智能体的本地结果循环与奖励层基础设施。它解决的核心问题是：编码智能体在长任务中缺乏对自身行为的记忆与反馈，导致重复犯错或无法★ 94