项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 840
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.9+
- Scale 账号与 API Key
安装与启动步骤
-
1安装
Scale 开源的微调与推理引擎，pip 直装。
pip install scale-llm-engine -
2配密钥
用环境变量传 API Key。
export SCALE_API_KEY=xxx -
3起微调
用 SDK 提交数据集与超参，任务在云端跑。
from llmengine import FineTune # FineTune.create(model='...', training_file='file-xxx') -
4推理
微调产出的模型直接调 completion 接口。
from llmengine import Completion # Completion.create(model='...', prompt='...')
如何确认成功
提交的微调任务能在控制台看到状态与产出模型。
注意事项
- 它的价值是把训练与部署都托管，适合不想管卡。
- 数据集要按文档的 jsonl 格式整理。
- 按 token 计费，先小样本验证。
核心亮点
- 提供 OpenAI 兼容 API，现有应用改个 base_url 即可接入
- 集成 vLLM 推理后端，支持高吞吐批量推理与流式输出
- 内置 LoRA 微调与模型版本管理，覆盖从训练到上线的闭环
不足之处
- 项目早期，文档与示例较少，上手需要一定工程能力
- 社区活跃度和生态集成不如 vLLM、TGI 等成熟方案
适用场景
- 企业内网私有化部署开源大模型对外提供 API 服务
- 基于业务数据做 LoRA 微调并快速上线专属模型
- 需要 OpenAI 接口兼容、平滑替换云端 API 的应用迁移
替代项目
vLLM、text-generation-inference、OpenLLM
同类项目推荐
voice_clone_lab
开源
几分钟音频克隆音色，本地微调生成专属语音
Clone a voice from a few minutes of audio and generate speech locally — Qwen3-TTS f···
peft
开源
用极低成本微调大模型，省显存省时间，效果不打折。
PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.
Spectral-DeTuning
开源
一键还原生成模型微调前的原始权重，逆向去微调
Official PyTorch Implementation for the "Recovering the Pre-Fine-Tuning Weights of G···
Complete-LLM-Finetuning
开源
跟着 Notebook 跑一遍，就能亲手微调大模型
Scaling-Diffusion-Transformers-m···
开源
让扩散模型从小规模到大规模训练，超参数无需重调，省时省力。
[NeurIPS 2025] Official implementation for our paper "Scaling Diffusion Transformers···
Directional-Preference-Alignment
开源
用方向性偏好让模型对齐更精准，训练更稳定
Directional Preference Alignment
Agent-R1
开源
端到端强化学习，训练出能自主决策的 LLM Agent
Agent-R1: Training Powerful LLM Agents with End-to-End Reinforcement Learning
FeynRL
开源
换目标、换采样，后训练实验一套框架跑通
Post-training framework for large models, from new objectives to new rollout systems···
MegaDLMs
开源
用扩散模型训练语言模型，更快更灵活
GPU-optimized framework for training diffusion language models at any scale. The bac···