llmops 第 5 页
本站收录 233 个带「llmops」标签的 AI 开源项目（按 GitHub 星标从高到低，第 5 / 5 页）
llm-inference-solutions这是一个收录大语言模型（LLM）推理解决方案的精选列表，旨在为开发者提供一站式的推理工具参考。项目整理了当前主流的推理框架、服务化方案和优化库，涵盖从本地部署到★ 94
TakoVMTakoVM 是一个为 AI 智能体设计的沙箱文件系统，让智能体能够安全地执行代码。它解决了当前 AI 智能体在执行代码时面临的安全隔离问题，防止恶意或错误代码★ 90
agentcraftagentcraft 是一个基于 TypeScript 的 AI Agent 应用开发框架，旨在帮助开发者快速构建各类应用场景的智能体应用。它解决了从零搭建 A★ 85
llmops-handbook《LLMOps 手册》是一份面向实践与进阶的 LLMOps 指南，旨在帮助开发者系统理解大语言模型的核心概念、部署技术以及软件工程实践。项目以工作手册形式组织内★ 85
continuumContinuum 是 ShyftLabs 推出的智能体运行时，旨在帮助企业构建、编排和部署 AI 智能体。它解决了多智能体系统中任务分配、状态管理和工具调用的★ 84
parea-sdk-pyParea AI 是一个面向 LLM 应用的开发工具链，提供 Python SDK 来支持实验、测试、评估和监控。它解决的是 LLM 应用开发中缺乏系统化测试与★ 82
google-cloud-mcpgoogle-cloud-mcp 是一个基于 Model Context Protocol (MCP) 的服务器实现，专门为 Google Cloud Plat★ 80
ray_vllm_inferenceray_vllm_inference 是一个将 vLLM 与 Ray Serve 集成的轻量级 LLM 推理服务项目，旨在提供快速且可扩展的大模型服务能力。它解★ 79
langfuse-javalangfuse-java 是 Langfuse 的官方 Java 客户端，用于自动生成 API 封装，方便 Java 开发者集成 LLM 可观测性与追踪功能。★ 74
centaurloopCentaur Loop 是一个用于构建 AI 员工的最小工作单元框架，它将复杂岗位拆解为可循环执行的工作流。该框架的核心是“半人马环”概念，即 AI 负责执行★ 73
rag-opsrag-ops 是一个基于 Python 的 RAG（检索增强生成）系统基础设施参考实现，它将 LLMOps 的核心方法论落地为可运行的代码。项目聚焦于生产级 ★ 73
Awesome-LLMs-ICLR-24Awesome-LLMs-ICLR-24 是一个专门整理 ICLR 2024 会议上所有大语言模型（LLM）相关论文的资源合集。它解决了研究者难以系统追踪顶级会★ 73
aiml-companionAI-ML Companion 是一个交互式学习平台，旨在通过可视化方式帮助用户理解人工智能和机器学习。它包含22个学习轨道和300多个模块，提供实时可视化演示★ 72
llmopsllmops 是一个面向 TypeScript 应用的可插拔 LLMOps 工具包，旨在为开发者提供一套模块化、易集成的工具链，以解决在构建、部署和运维大语言模★ 71
WebextLLMWebextLLM 是一个浏览器扩展，旨在将大语言模型直接嵌入浏览器中，为网页应用提供本地 AI 能力。它解决了传统 Web 应用调用 LLM 时需要依赖外部服★ 66
GPT4DFCIGPT4DFCI 是丹娜-法伯癌症研究所内部部署的私有生成式 AI 工具，基于 GPT 和 o 系列模型，专为非临床场景设计。它解决了医疗研究机构在数据隐私和合★ 65
ai-engineering-playbook这是一个面向应用型AI工程师的零基础到进阶学习路径，以56页可搜索的网站形式呈现，覆盖RAG、嵌入、向量搜索、智能体、MCP协议及其生产工程实践。项目旨在系统化★ 62
geniusriseGeniusrise 是一个用于构建 AI 应用的 Python 框架，旨在简化从数据准备、模型训练到部署的完整流程。它解决了 AI 开发中常见的工程化痛点，如★ 62
devops-gptdevops-gpt 是一个基于 Python 的 AI 助手，旨在简化 DevOps 日常任务。它通过智能提示（prompts）帮助用户自动执行重复性工作，如★ 62
docker-code-interpreterdocker-code-interpreter 是一个基于 Docker 的一键部署工具，旨在简化开源代码解释器项目的启动流程。它通过预配置的 Docker 镜★ 61
CoderGPTCoderGPT 是一个为 GPT-4 等大语言模型设计的前置提示词规则集，旨在让 AI 更有效地充当编程助手。它通过注入代码上下文感知的预提示，帮助模型理解项★ 60
aisix-archivedaisix-archived 是一个用 Rust 构建的开源原生 AI 网关和 LLM 代理，旨在为企业和开发者提供统一的 AI 服务接入层。它解决了多模型管理★ 59
llm-usellm-use 是一个面向智能体工作流的 LLM 编排工具包，采用“规划器 + 执行器 + 综合器”的架构模式，将复杂任务拆解为可管理的子任务并汇总结果。它内置★ 59
portkey-node-sdkportkey-node-sdk 是 Portkey 官方推出的 Node.js 开发工具包，旨在帮助开发者快速构建可靠、安全且生产级的 AI 应用。它主要解决★ 57
awesome-llmopsawesome-llmops 是一个专注于 LLMOps（大语言模型运维）领域的精选资源列表，旨在系统整理和展示与 LLMOps 相关的工具、框架、最佳实践和学★ 56
fable-skillsfable-skills 是一套为 Claude Code 打造的技能增强包，包含六个精心设计的技能，旨在将 Opus 4.8 模型的行为向“前沿水平”加固。它★ 55
byok-relaybyok-relay 是一个轻量级的中继服务，用于解决前端应用直接调用 LLM API 时遇到的 CORS 限制问题。它允许用户携带自己的 API 密钥（BYO★ 55
llmtracellmtrace 是一个零代码的 LLM 安全与可观测性代理，专为 OpenAI 兼容 API 设计。它作为中间层，实时拦截并分析请求与响应，提供提示注入检测、★ 53
azure-enterprise-scale-mlazure-enterprise-scale-ml（简称esml）是微软开源的企业级Azure机器学习平台参考架构与落地工具集。它解决企业在Azure上规模化落★ 53
litmusLitmus 是一个面向生成式 AI 应用开发的 LLM 测试与评估平台。它通过友好的用户界面，帮助开发者系统化地构建和评估基于大语言模型的应用性能。项目解决了★ 52
sugarcane-aisugarcane-ai 是一个面向 Prompt 的 npm 风格包生态系统，旨在解决 Prompt 复用、管理和分发难题。它将 Prompt 视为可版本化的★ 52
OctoClawOctoClaw 是一个为 OpenClaw 智能体设计的模型路由与基础设施层，主要解决多模型环境下智能体如何自动选择最优模型、实时反馈状态并控制成本的问题。它★ 48
arboricarboric 是一个面向 AI 计算的基础设施项目，定位为 AI 算力的“经济模式”。它通过智能调度和资源优化，降低 AI 推理和训练过程中的算力消耗，帮助团★ 45