项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 12587
使用教程
环境要求
- Python 环境（可用 pip 或 pip3 安装包）
- 按所选模型准备对应显存，例如 gemma2:2b 需 12G GPU，deepseek:r1-671b 需 80Gx16
- 若部署 gated（受限）模型，需准备 Hugging Face 的 HF_TOKEN
- 若要部署到 BentoCloud，需先注册并登录 BentoCloud 账号
安装与启动步骤
-
1安装 OpenLLM
用 pip 安装 OpenLLM 包，若系统默认是 python3 可改用 pip3 install openllm。
pip install openllm -
2交互式体验
运行内置的 hello 命令，交互式地快速体验 OpenLLM 功能。
openllm hello -
3启动模型服务
用 serve 子命令拉起一个模型，模型名与规格用冒号连接；请按显存要求选择模型。
openllm serve gemma2:2b -
4注册自定义仓库
按默认模型仓库的格式把自定义模型放进 bentos 目录后，注册自己的模型仓库。
openllm repo add my-repo https://github.com/bentoml/openllm-repo -
5部署到 BentoCloud
登录 BentoCloud 后一条命令把模型部署到云端，gated 模型需带上 HF_TOKEN。
openllm deploy llama3.2:1b --env HF_TOKEN
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
HF_TOKEN | 否 | 部署 gated（受限）模型时需要，在环境变量中提供的访问令牌。 | hf_xxxxxxxxxxxxxxxxxxxx |
如何确认成功
openllm serve 启动成功后终端会输出服务信息，打开内置 Chat UI 或调用 OpenAI 兼容接口能正常得到模型回复。
常见问题
Q：显存不够怎么办？
A：参考支持模型表挑选所需 GPU 更小的模型，例如 gemma2:2b 与 gemma3:3b 只需 12G 显存，deepseek:r1-671b 则需 80Gx16。
Q：部署 gated 模型报错怎么处理？
A：确保已在环境变量中设置 HF_TOKEN，部署时带上 --env HF_TOKEN，例如 openllm deploy llama3.2:1b --env HF_TOKEN。
Q：能用自己微调的模型吗？
A：可以。按默认模型仓库的格式，参照 BentoML 构建 Bentos 的方式把自定义模型放入 bentos 目录，再用 openllm repo add 注册仓库。
Q：可以直接部署到云端吗？
A：可以。注册并登录 BentoCloud 后执行 openllm deploy，即可获得带自动扩缩容和可观测性的托管推理服务。
注意事项
- OpenLLM 目前只支持添加公开（public）的模型仓库。
- 不同模型对 GPU 显存要求差异极大，启动前请先对照支持模型表确认硬件。
- 部署到 BentoCloud 需要先注册并登录账号，属于云服务路径，会产生云端费用。
核心亮点
- 一键将任意开源LLM（如DeepSeek、Llama）部署为OpenAI兼容API，降低接入成本
- 基于BentoML生态，支持云原生部署、自动扩缩容和模型服务化，运维便捷
- 活跃社区，12k+星标，持续支持最新模型（如Llama 3.2 Vision）和微调集成
不足之处
- 文档/社区待观察
- 依赖BentoML框架，对非该生态用户有学习曲线
适用场景
- 快速搭建企业内部LLM网关，统一管理多种开源模型
- 将开源模型无缝替换或补充OpenAI API，实现成本优化和隐私保护
- 在云端部署多模型推理服务，支持动态切换和负载均衡
替代项目
vLLM、Ollama、LocalAI
上一篇：weaviate
下一篇：tensorzero
同类项目推荐
mirage
开源
把整个LLM推理塞进一个GPU内核，砍掉反复启动开销
Mirage Persistent Kernel: Compiling LLMs into a MegaKernel
candle-vllm
开源
Rust 写的本地大模型推理服务，兼容 OpenAI API，开箱即用
Efficent platform for inference and serving local LLMs including an OpenAI compatibl···
open-relay
开源
关掉终端，AI 任务继续跑，随时回来接管。
oly runs coding agents and long-running commands in persistent, supervised terminal ···
worker-vllm
开源
在 Runpod 上一键部署 vLLM 推理端点，按需用 GPU
The Runpod worker template for serving our large language model endpoints. Powered b···
pi-anthropic-auth
开源
给 Pi 扩展一键接上 Anthropic 账号授权
Pi extension package for Anthropic OAuth compatibility
ultracontext
开源
自动抓取并共享智能体上下文，让多智能体协作不再各说各话。
Open Source Context infrastructure for AI agents. Auto-capture and share your agents···
gptGrok2api
开源
批量注册 ChatGPT/Grok 账号，自动转成 API 网关
ChatGPT/GPT 注册机｜Grok 注册机｜全自动纯协议注册，支持 OAuth、邮箱接码、账号池、代理···
btp-genai-starter-kit
开源
一键自动化配置SAP AI环境，快速启动你的生成式AI项目
This repo aims to help developers to get into the genAI topic quicker by automating ···
text-embeddings-inference
开源
用 Rust 极速跑嵌入模型，高吞吐低延迟，一键部署生产级 API
A blazing fast inference solution for text embeddings models