lorax

一个服务跑上千个微调模型，省 GPU 又省心

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 329 🐛 待处理 185 👀 关注 32 ⚠️ 作者已归档（停止维护）

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 3835

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0许可证，可自行部署使用，无收费版本。

项目预览

项目数据

分类开源模型

开发团队predibase

官网地址https://loraexchange.ai

GitHubhttps://github.com/predibase/lorax

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0许可证，可自行部署使用，无收费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型fine-tuning,gpt,llama,llm,llm-inference,llm-serving,llmops,lora,model-serving,pytorch,transformers

GitHub 星标★ 3835

上线时间2023-10-20 00:00:00

代码更新2026-05-28

仓库体积6.9 MB

本站数据更新2026-11-07

维护状态低维护

收录时间2026-08-09

浏览次数4

项目介绍

Lorax 是一个专为大规模多 LoRA 推理而设计的高性能服务器，能够同时承载数千个微调后的 LLM。它解决了传统推理服务中每个微调模型需要独立部署、资源消耗巨大的问题，通过共享基础模型权重，将多个 LoRA 适配器动态加载到 GPU 内存中，实现高吞吐、低延迟的批量推理。核心能力包括：支持 Hugging Face 模型和 LoRA 权重、动态加载/卸载适配器、连续批处理、Paged Attention 优化、与 OpenAI 兼容的 API，以及内置的 Prometheus 监控指标。Lorax 特别适合需要为大量用户或场景提供个性化模型服务的场景，如多租户 AI 平台、A/B 测试、个性化推荐等，显著降低部署成本和运维复杂度。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3835

技术标签

fine-tuning gpt llama llm llm-inference

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 20 分钟部署方式：Docker 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

支持 CUDA 的 NVIDIA GPU（LoRA 适配器需动态加载到 GPU 内存）
已安装 Docker，用于运行官方预构建镜像
Python 环境（如需使用 Python 客户端调用）

安装与启动步骤

1确认运行环境

准备带 CUDA 的 NVIDIA GPU 与 Docker。README 明确建议从官方预构建 Docker 镜像入手，避免自行编译 CUDA 内核和其他依赖。
2获取预构建镜像

按官方文档 Getting Started 的说明拉取 LoRAX 预构建镜像；README 节选未给出具体镜像名，请以官方文档为准。
3启动 LoRAX 服务

参考官方文档 Launch LoRAX Server 一节启动服务，模型与端口参数以文档为准，README 节选未列出具体启动命令。
4REST API 发起推理

服务启动后，按文档 Prompt via REST API 一节发送请求，即可用指定 LoRA 适配器完成推理。
5Python 客户端调用

按文档 Prompt via Python Client 一节，用 Python 客户端提交推理请求，适合集成到脚本或服务中。
6OpenAI 兼容对话

按文档 Chat via OpenAI API 一节，使用 OpenAI 兼容接口进行对话调用，可直接复用现有 OpenAI SDK 代码。