llmops 第 3 页

本站收录 233 个带「llmops」标签的 AI 开源项目（按 GitHub 星标从高到低，第 3 / 5 页）

LLM-Agents-Ecosystem-Handbook这是一份面向 LLM 智能体（Agent）构建与部署的一站式手册，旨在解决开发者从零开始搭建智能体时缺乏系统指引的问题。项目提供了 60 多个代码骨架（skel★ 555VectorHubVectorHub 是一个已废弃的历史仓库，由 Superlinked 团队维护，现已转向开发 SIE（自托管推理引擎）。该项目最初旨在为向量搜索、嵌入模型和检★ 532continuous-evalcontinuous-eval 是一个面向 LLM 应用的、数据驱动的评估工具。它解决的是 LLM 应用在开发迭代过程中缺乏客观、可量化评估标准的问题，帮助开发★ 519agencyagency 是一个面向 Go 开发者的智能体（Agent）开发库，旨在通过简洁、高效且符合 Go 语言惯例的方式，帮助开发者探索大语言模型（LLM）及其他生成★ 515vigil-llmVigil 是一个专注于检测大语言模型（LLM）输入安全风险的开源基础设施工具。它主要解决提示注入（prompt injection）、越狱（jailbreak★ 506agencyagency 是一个快速且极简的 Python 框架，用于构建智能体系统。它基于 actor 模型设计，旨在让开发者以轻量、高效的方式创建和管理多个 AI 智能★ 488markdown-crawlermarkdown-crawler 是一个用 Python 实现的多线程网络爬虫，能够递归抓取整个网站，并将每个页面转换为结构清晰的 Markdown 文件。它专★ 476JetStreamJetStream 是一个面向 XLA 设备（当前以 TPU 为主，未来计划支持 GPU）的 LLM 推理引擎，专注于提升吞吐量和优化内存使用。它解决了在 TP★ 470synalinkssynalinks 是一个基于图的、可编程的神经符号语言模型框架，旨在用最少的代码将想法快速转化为生产级应用。它融合了符号推理与神经网络，借鉴了深度学习领域十年★ 464GPTRouterGPTRouter 是一个面向多 LLM 与图像模型统一管理的开源基础设施，用 TypeScript 编写。它解决了企业在同时接入 OpenAI、Anthrop★ 454sagifysagify 是一个旨在简化大型语言模型和机器学习工作流的开源工具，主要面向 Python 开发者。它解决了从模型训练到部署过程中配置复杂、流程繁琐的问题，通过★ 442nexusnexus 是一个用 Rust 编写的开源 AI 治理与安全平台，旨在帮助企业管理和保护其 AI 系统。它解决的是 AI 部署中缺乏统一治理、安全策略难以落地的★ 436stationStation 是一个开源的智能体运行时，旨在让团队在自己的基础设施上部署和管理 AI 智能体，同时保持完全的控制权。它解决了企业在使用托管 AI 服务时面临的★ 429martin-loopmartin-loop 是一个面向 AI 编码代理的运行时控制平面，用 TypeScript 编写。它要解决的问题是：当你让 Claude Code、Codex★ 414openllmetry-jsOpenLLMetry-js 是 OpenLLMetry 的 TypeScript 姊妹项目，基于 OpenTelemetry 为 LLM 应用提供开源可观测性★ 412azure-openai-llm-notes这是一个精选资源合集，专注于 Azure OpenAI 和大型语言模型（LLM）生态，涵盖 RAG（检索增强生成）和智能体（Agents）相关技术。项目按月更新★ 410rhesisRhesis 是一个面向 AI 团队的协作层基础设施，旨在连接领域专家与工程师，共同优化智能体（Agent）行为。它解决的核心问题是：AI 智能体的行为往往由工★ 398LLMstudioLLMstudio 是一个面向生产环境的 LLM 应用开发框架，旨在帮助开发者将大语言模型应用从原型快速推向生产。它解决了 LLM 应用落地过程中的工程化难题，★ 390bosquetbosquet 是一个用于构建 LLM 应用的 Clojure 工具集，旨在为 AI 应用开发者提供提示词模板与组合、智能体（agent）、LLM 记忆管理等核★ 381genaiops-promptflow-template这是一个面向企业级 LLM 应用开发的 GenAIOps 模板与指南，基于微软 Prompt Flow 构建。它解决的核心问题是：LLM 应用从原型到生产过程中★ 368swiftLLMswiftLLM 是一个极简但高性能的 LLM 推理系统，专为研究目的设计。它用仅约 2000 行 Python 代码实现了与 vLLM 相当的性能，代码量仅为★ 361llm-leaderboard这是一个已废弃的LLM基准测试排行榜项目，曾汇总各大语言模型的基准测试分数和提供商价格。它旨在帮助开发者快速对比不同模型在各类任务上的表现，并了解各API服务的★ 356ccproxyccproxy 是一个面向 Claude Code 的插件化代理基础设施，允许开发者通过钩子拦截和修改 Claude Code 的 API 请求与响应，实现自定★ 355tonic_validatetonic_validate 是一个用于评估检索增强生成（RAG）应用响应质量的 Python 库。它提供了一套标准化的指标，帮助开发者量化 RAG 系统在回答★ 328craftgenCraftgen 是一个开源的、无代码的 AI 工作流集成平台，基于 Actor 模型构建动态的、基于图（graph）的解决方案。它旨在让用户无需编写代码，就能★ 318clearml-agentClearML Agent 是 ClearML 平台的核心调度与编排组件，负责执行远程任务、管理队列并调度 GPU 等计算资源。它解决了 MLOps/LLMOp★ 314runtmruntm 是一个开源沙箱基础设施，专为编码代理（如 Claude Code、Cursor 等 AI 编程工具）提供隔离的构建与部署环境。它解决了 AI 代理在★ 302athina-evalsathina-evals 是一个用于评估大语言模型（LLM）生成响应的 Python SDK。它解决了开发者在构建 LLM 应用时难以系统化、自动化评估输出质量★ 302MimirMimir 是一个完全开源且高度可定制的记忆库系统，专为 AI 代理（尤其是编码代理）设计。它通过语义向量搜索为本地索引文件提供代码智能，并支持跨会话和聊天上下★ 288qKnowqKnow 是一个面向企业知识智能与行业 AI 的开源智能体平台。它解决企业在构建知识中枢和 AI 解决方案时面临的碎片化问题，通过知识图谱、RAG 检索增强生★ 286learning-llms-and-genai-for-dev-sec-ops这是一个面向开发、安全和运维人员的LLM与生成式AI学习资源库，以Jupyter Notebook形式组织课程。项目旨在帮助初学者系统掌握大语言模型和生成式AI★ 285awesome-rag-production这是一个精选清单，汇集了构建可扩展、生产级检索增强生成（RAG）系统所需的工具、框架和最佳实践。它解决的是RAG从原型到落地过程中的工程化难题，如性能、可靠性和★ 283openmodelzopenmodelz 是一个面向 LLM 推理场景的自动伸缩基础设施，基于 Kubernetes 构建，支持 vLLM、SGLang、LMDeploy 等主流推★ 283ai-gatewayai-gateway 是一个用 Go 编写的统一 AI 网关，旨在为 30 多种大语言模型（如 OpenAI、Anthropic、Bedrock、Azure 等★ 272LangGraph-GUILangGraph-GUI 是一个面向 LangGraph 的可视化节点-边图编辑器，旨在降低 LangGraph 应用开发的门槛。它允许开发者通过拖拽节点、连★ 270aegisaegis 是一个面向大型语言模型的自加固防火墙，属于基础设施类项目。它解决的是 LLM 在部署和交互过程中面临的安全威胁，如提示注入、恶意输出和数据泄露等问题★ 269Awesome-LLMOpsAwesome-LLMOps 是一个精心整理的 LLMOps 工具清单，旨在帮助开发者、数据科学家和运维人员快速发现和选择大语言模型全生命周期管理所需的优秀开源★ 268dify-google-cloud-terraform这是一个用于在 Google Cloud 上部署 Dify 的 Terraform 配置项目。它解决了 Dify 在生产环境中手动部署复杂、难以扩展和高可用性不★ 261hello-agent-systemHello Agent System 是一个面向企业级 AI Agent 系统设计的中英双语实战课程，用 17 节课从零搭建生产环境所需的每一层。它不是教你调用★ 261llmtrimllmtrim 是一个本地代理服务，用于压缩发送给大语言模型 API 的请求，从而降低使用成本，同时保证回答质量不变。它会在请求发送前自动剔除提示词、历史记录、★ 251LLMtunerLLMtuner 是一个旨在简化大语言模型微调过程的 Python 工具库，口号是“几行代码微调大模型”。它支持多种任务类型，包括文本到文本（Text2Text★ 251bella-openapiBella OpenAPI 是一个基于 Java 构建的 AI 能力聚合网关，类似于 OpenRouter，但覆盖更广。它解决的是企业接入多家 AI 服务时接口★ 240starwhaleStarwhale 是一个面向机器学习与大型语言模型（LLM）的 MLOps/LLMOps 平台，旨在解决模型开发、评估、部署和运维全生命周期中的工程化问题。它★ 235transformer-tricks这是一个关于Transformer模型加速技巧与工具的集合仓库，主要面向深度学习工程师和研究者，解决Transformer推理和训练速度慢的问题。项目以TeX文★ 234hubhub 是一个用 Rust 编写的高性能 LLM 网关，专为大规模 AI 应用设计。它解决了在多个 LLM 提供商（如 OpenAI、Anthropic 等）之★ 232awesome-ai-safety这是一个精心整理的AI安全与质量领域的论文和技术文章列表，旨在为研究人员、工程师和政策制定者提供系统性的学习资源。项目解决了AI安全领域信息分散、难以快速入门的★ 226frugonfrugon 是一款免费、本地运行的开源 LLM 成本分析工具，旨在帮助开发者和团队精准定位大模型账单中的费用泄漏点。它通过解析 API 调用日志，将每次请求的★ 216busbarbusbar 是一个用 Rust 编写的 LLM API 网关，旨在解决多模型供应商接入和故障转移的痛点。它通过提供一个统一的 URL，让现有 SDK 无需改动★ 206aisixaisix 是一个用 Rust 构建的开源 AI 网关，为 LLM 和 AI 智能体提供统一的 OpenAI 兼容 API 接口。它解决了企业或开发者在接入多家★ 200phantasmphantasm 是一套用于构建“人在回路”审批层的工具包，旨在实时监控和引导 AI 代理的工作流程。它解决了 AI 代理在自动化执行任务时缺乏人工监督和干预的★ 197

相关标签

llm3432ai2792mlops445openai1221python1570ai-agents1975rag1205generative-ai568llms394mcp1424langchain393machine-learning904