sagemaker-genai-hosting-examples
照着 Notebook 跑通大模型托管与推理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-02 · 当前星标 ★ 151
核心亮点
- 以 Notebook 串联部署、配置、调用全流程，可直接运行验证
- 围绕 SageMaker 托管场景给出具体端点与推理容器配置示例
- 覆盖多种生成式任务的端到端流程，便于快速搭建原型
不足之处
- 示例偏教学性质，缺少生产级工程化与运维实践
- 更新节奏与覆盖模型范围受平台版本影响，需自行核对
适用场景
- 在 SageMaker 上快速验证大模型托管可行性
- 团队学习生成式 AI 推理端点的配置与调用方式
- 为内部应用搭建推理服务原型并做效果对比
替代项目
aws-samples/amazon-sagemaker-examples、huggingface/transformers、vllm-project/vllm
上一篇：semantic-conventions-genai
下一篇：monocle
同类项目推荐
hyperspace-db
开源
1-bit 量化省内存，原生支持双曲层级向量检索
[H] HyperspaceDB is a high-performance, vector database. It features 1-bit quantizat···
opencode-multi-auth-codex
开源
多账户管理+会话控制，让 Codex 稳定高效
OpenCode account routing, session controls, dashboard, and reliability tooling for C···
tpu-mlir
开源
把 PyTorch/ONNX 模型一键编译到算能 TPU 上跑起来
Machine learning compiler based on MLIR for Sophgo TPU.
eidos
开源
把散落的数据收拢起来，按你的方式管理
A single-file relational spreadsheet for you and your agent.
Safe-and-Stable-Ckpt2Safetensors···
开源
一键安全转换 ckpt 为 safetensors，告别恶意代码风险
Convert your Stable Diffusion checkpoints quickly and easily.
opencode-llm-proxy
开源
本地一个代理，统一接入 OpenAI、Anthropic、Gemini 等大模型
Local OpenCode-backed LLM gateway for OpenAI, Anthropic, Gemini, and Responses API-c···
ESEILANE
开源
为 AI 和 LLM 打造的高性能知识图谱引擎，让 GraphRAG 更快更聪明。
High-performance Knowledge Graph engine for AI, LLMs, and GraphRAG — built for the ···
agentplay
开源
把编码代理的会话回放成地图和时间线
Replay your coding agent sessions as a map and a timeline
merlin
开源
在 Kubernetes 上轻松管理、部署和上线 ML 模型，省心省力。
Kubernetes-friendly ML model management, deployment, and serving.