sagemaker-huggingface-inference-toolkit

把 Hugging Face 模型快速部署成 SageMaker 推理端点

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 59 🐛 待处理 48 👀 关注 36
GitHub ↗
GitHub 星标 ★ 270
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,遵循Apache许可证

项目预览

sagemaker-huggingface-inference-toolkit 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队aws
定价模式🏷️完全免费
价格说明开源免费,遵循Apache许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 270
上线时间2021-06-04 00:00:00
代码更新2026-11-17
仓库体积3.0 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

sagemaker-huggingface-inference-toolkit 是 Hugging Face 与 AWS 合作推出的推理工具包,用于把 Transformers 模型以标准方式部署到 Amazon SageMaker 端点。它提供预置的推理处理程序,自动读取模型目录、加载 tokenizer 与 pipeline,并实现 /ping 健康检查与 /invocations 推理接口,让开发者无需自行编写 Flask 服务或容器入口脚本。工具包支持文本分类、问答、生成、摘要等常见 pipeline 任务,可通过环境变量配置任务类型、模型参数和批量推理,也允许继承基类自定义前后处理逻辑。它解决的是 Hugging Face 模型上 SageMaker 时容器适配重复、接口不统一的问题,使训练好的模型能较快转为托管推理服务,并与 SageMaker 的自动扩缩、监控和日志体系衔接。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 270

核心亮点

  • 内置 /ping 与 /invocations 处理程序,免写容器服务代码
  • 支持多种 Transformers pipeline 任务,环境变量即可切换配置
  • 可继承基类覆盖前后处理,兼顾开箱即用与定制需求

不足之处

  • 仅面向 SageMaker 平台,脱离 AWS 后复用价值有限
  • 项目更新节奏较慢,对新模型和新 pipeline 的覆盖需自行验证
  • 文档偏简,复杂自定义场景示例较少

适用场景

  • 将微调后的文本分类模型部署为在线推理 API
  • 在 SageMaker 上快速搭建生成式模型推理服务
  • 为批量推理任务复用统一的模型加载与预处理逻辑

替代项目

sagemaker-python-sdk、BentoML、KServe

上一篇:basalt

下一篇:tutorials

同类项目推荐

logto 开源

开箱即用的登录与权限系统,让 SaaS 和 AI 应用快速上线认证

‍ Authentication and authorization infrastructure for SaaS and AI apps, built on OI···

★ 14961 2026-10-17
sealos 开源

一键把 GitHub 项目部署上云,AI 帮你持续运维

Deploy real projects from GitHub or your AI coding agent, then keep them running wit···

★ 18403 2026-10-11
ultracontext 开源

自动抓取并共享智能体上下文,让多智能体协作不再各说各话。

Open Source Context infrastructure for AI agents. Auto-capture and share your agents···

★ 443 2026-10-06
agentplay 开源

把编码代理的会话回放成地图和时间线

Replay your coding agent sessions as a map and a timeline

★ 372 2026-10-24
arcadia 开源

一站式搭建安全可靠的AI应用,从原型到上线轻松搞定

A diverse, simple, and secure all-in-one LLMOps platform

★ 112 2026-08-09
kamonohashi 开源

一站式管理 AI 数据、训练与 GPU 资源,提升团队研发效率

AI開発プラットフォームKAMONOHASHI

★ 86 2026-08-09
grps_trtllm 开源

用 C++ 榨干 GPU,OpenAI 服务比 vLLM 更快

Higher performance OpenAI LLM service than vLLM serve: A pure C++ high-performance O···

★ 160 2026-08-09
infisical 开源

把密钥、证书和 AI 凭证统一管起来,告别明文 .env

Infisical is the open-source platform for securing secrets, certificates, access, an···

★ 30662 2026-10-12
kvcached 开源

让 GPU 显存像云硬盘一样弹性共享,多模型推理不再浪费缓存。

Virtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond

★ 2051 2026-08-10