sample-genai-on-eks-starter-kit

在 EKS 上快速搭建生产级 GenAI 基础设施，省心省力

这是一个在 Amazon EKS 上快速部署生产级生成式 AI 基础设施的工具包。它解决了企业在 AWS 上搭建 GenAI 平台时面临的组件集成复杂、配置繁琐、上线周期长等问题。核心能力包括预配置的 AI 网关（LiteLLM）、LLM 推理服务（vLLM、SGLang、Ollama）、向量数据库、嵌入模型（TEI）以及可观测性组件（Langfuse、Phoenix）等，通过 Kubernetes 原生方式实现一键式部署和统一管理。该工具包旨在帮助开发者和平台工程师加速 GenAI 应用从原型到生产的落地，降低基础设施运维门槛。

开源 free 智能体

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 93

维护状态活跃

是否开源是

定价模式 free

项目数据

分类智能体

开发团队aws-samples

所属国家

官网地址https://aws-samples.github.io/sample-genai-on-eks-starter-kit

GitHubhttps://github.com/aws-samples/sample-genai-on-eks-starter-kit

定价模式free

价格说明开源项目，MIT-0许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT-0

主要语言JavaScript

技术栈/模型agentic-ai,ai-agents,ai-engineering,ai-gateway,ai-platform,amazon-eks,aws,generative-ai,gpu-inference,kubernetes,langfuse,llm-inference,llm-serving,llmops,mcp-server,nvidia-dynamo,terraform,vector-database,vllm

GitHub 星标★ 93

30天Star增速

HF 下载量

上线时间2025-07-04 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

预集成多种主流 GenAI 组件（LiteLLM、vLLM、向量数据库等），开箱即用
基于 Kubernetes 和 EKS，天然支持弹性伸缩和 GPU 调度
提供完整的可观测性方案（Langfuse、Phoenix），便于监控和调试

不足之处

项目较新，文档和社区支持尚待完善
依赖 AWS 生态，迁移到其他云平台成本较高

适用场景

在 AWS 上快速搭建企业级 GenAI 推理平台
需要统一管理多个 LLM 服务和向量数据库的团队
希望利用 Kubernetes 弹性能力部署 AI 工作负载的开发者

替代项目

KServe、Ray Serve、Helm Charts for LLM

项目介绍

sample-genai-on-eks-starter-kit 是基础设施领域的开源项目，由 aws-samples 开发，2025 年首次发布。

它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 93。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。MIT-0许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：在AWS上快速搭建企业级GenAI推理平台。同类可对比的替代方案包括 KServe、Ray Serve、Helm Charts for LLM。

上一篇：bex

下一篇：dns-aid-core