
sagemaker-huggingface-inference-toolkit
把 Hugging Face 模型快速部署成 SageMaker 推理端点
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 270
核心亮点
- 内置 /ping 与 /invocations 处理程序,免写容器服务代码
- 支持多种 Transformers pipeline 任务,环境变量即可切换配置
- 可继承基类覆盖前后处理,兼顾开箱即用与定制需求
不足之处
- 仅面向 SageMaker 平台,脱离 AWS 后复用价值有限
- 项目更新节奏较慢,对新模型和新 pipeline 的覆盖需自行验证
- 文档偏简,复杂自定义场景示例较少
适用场景
- 将微调后的文本分类模型部署为在线推理 API
- 在 SageMaker 上快速搭建生成式模型推理服务
- 为批量推理任务复用统一的模型加载与预处理逻辑
替代项目
sagemaker-python-sdk、BentoML、KServe
同类项目推荐
logto
开源
开箱即用的登录与权限系统,让 SaaS 和 AI 应用快速上线认证
Authentication and authorization infrastructure for SaaS and AI apps, built on OI···
sealos
开源
一键把 GitHub 项目部署上云,AI 帮你持续运维
Deploy real projects from GitHub or your AI coding agent, then keep them running wit···
ultracontext
开源
自动抓取并共享智能体上下文,让多智能体协作不再各说各话。
Open Source Context infrastructure for AI agents. Auto-capture and share your agents···
agentplay
开源
把编码代理的会话回放成地图和时间线
Replay your coding agent sessions as a map and a timeline
arcadia
开源
一站式搭建安全可靠的AI应用,从原型到上线轻松搞定
A diverse, simple, and secure all-in-one LLMOps platform
kamonohashi
开源
一站式管理 AI 数据、训练与 GPU 资源,提升团队研发效率
AI開発プラットフォームKAMONOHASHI
grps_trtllm
开源
用 C++ 榨干 GPU,OpenAI 服务比 vLLM 更快
Higher performance OpenAI LLM service than vLLM serve: A pure C++ high-performance O···
infisical
开源
把密钥、证书和 AI 凭证统一管起来,告别明文 .env
Infisical is the open-source platform for securing secrets, certificates, access, an···
kvcached
开源
让 GPU 显存像云硬盘一样弹性共享,多模型推理不再浪费缓存。
Virtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond