Soup

Q: 训练速度太慢怎么提速？

安装加速依赖 pip install ＂soup-cli[fast]＂，并在 soup.yaml 中把 backend 设为 unsloth，README 称可提速 2-5 倍。

一个YAML搞定大模型微调，4GB显卡也能训8B模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 1693 🐛 待处理 251 👀 关注 59

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 10289

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0许可证，可免费使用和部署。

项目预览

项目数据

分类基础设施

开发团队MakazhanAlpamys

官网地址https://trysoup.dev

GitHubhttps://github.com/MakazhanAlpamys/Soup

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0许可证，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型cli,consumer-gpu,dpo,fine-tuning,gguf,huggingface,llm,llmops,local-ai,local-llm,lora,low-vram,machine-learning,ollama,peft,python,pytorch,qlora,sft,transformers

GitHub 星标★ 10289

上线时间2026-02-20 00:00:00

代码更新2026-11-07

仓库体积36.0 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-08-09

浏览次数5

项目介绍

Soup 是一个用于微调大语言模型（LLM）的开源工具，它通过一个 YAML 配置文件即可完成整个微调流程，极大简化了操作。其核心亮点是采用“层流式训练”（Layer Streaming）技术，使得在仅有 4GB 显存的笔记本 GPU 上也能训练 8B 参数的模型，解决了大模型微调对硬件资源要求过高的问题。Soup 支持从数据准备、模型配置到训练调参的端到端管理，并提供简洁的命令行接口，适合个人开发者或小团队在资源受限环境下进行模型定制。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 10289

技术标签

cli dpo fine-tuning gguf huggingface

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：命令行工具 6 步

环境要求

Python 环境（Soup 为 Python 编写的命令行应用，PyPI 包名 soup-cli）
本地需要可用的 GPU 与 CUDA/PyTorch；不想装 CUDA/PyTorch 可用官方 Docker 镜像
训练数据为 alpaca 格式的 JSONL 文件（示例：./data/train.jsonl）
Windows 下执行 Docker 挂载命令请改用 PowerShell 语法

安装与启动步骤

1安装 Soup CLI

README 提示为 Soup 单独建一个环境并把 soup 放到 PATH；安装包为 PyPI 上的 soup-cli，安装后用 soup 命令调用。
```
pip install soup-cli
```
2编写配置文件

新建 soup.yaml，至少写清基座模型、任务类型、训练数据路径与输出目录。字段以 config/schema.py 为准。
3准备训练数据

按 alpaca 格式准备 JSONL 训练数据，放到配置里 data.train 指定的位置，例如项目下的 ./data/train.jsonl。
4启动微调

在 soup.yaml 所在目录执行训练命令，Soup 会读取该配置完成整个微调流程，结果写入 output 指定的目录。
```
soup train --config soup.yaml
```
5改用 Docker 运行

不想本地安装 CUDA/PyTorch 时，拉取官方 GHCR 镜像并把当前目录挂载到容器 /workspace，再用 --gpus all 透传 GPU。
```
docker pull ghcr.io/makazhanalpamys/soup:latest
docker run --gpus all -v $(pwd):/workspace ghcr.io/makazhanalpamys/soup train --config soup.yaml
```
6或用 Docker Compose

仓库自带 compose 配置，可直接一键起容器，也可在本地构建镜像后再启动。
```
docker compose up
```

关键配置

配置项	必填	说明	示例
`base`	是	指定要微调的基座模型（Hugging Face 模型名）	`meta-llama/Llama-3.1-8B-Instruct`
`task`	是	训练任务类型，示例为 sft 监督微调	`sft`
`backend`	否	切换训练后端，unsloth 可提速 2-5 倍，需另装 fast 依赖	`unsloth`
`data.train`	是	训练数据文件路径	`./data/train.jsonl`
`data.format`	否	数据格式，示例使用 alpaca	`alpaca`
`output`	是	训练产物输出目录	`./output`

如何确认成功

命令开始执行并输出训练日志，训练结束后在 output 指定的目录（示例 ./output）能看到产物。

常见问题

Q：只有 4GB 显存的笔记本 GPU 能微调 8B 模型吗？

A：可以。Soup 采用层流式训练技术，示例配置还对模型做 4bit 量化（quantization: 4bit），从而在低显存下训练 8B 参数模型。

Q：配置文件里多写了一个键为什么直接报错？

A：从 v0.75 起未知配置键会被拒绝加载，拼写错误（如 quantizaton）或版本不支持的字段都会导致配置读取失败，v0.74 之前只是提示，现在必须修正或删除该键。

Q：训练速度太慢怎么提速？

A：安装加速依赖 pip install "soup-cli[fast]"，并在 soup.yaml 中把 backend 设为 unsloth，README 称可提速 2-5 倍。

Q：不想在本地装 CUDA 和 PyTorch 怎么办？

A：使用官方 Docker 镜像 ghcr.io/makazhanalpamys/soup:latest，配合 docker run 或在仓库内直接 docker compose up 运行。

Q：Docker 跑起来没用上 GPU？

A：docker run 时必须加 --gpus all 参数，否则容器内无法访问宿主显卡。

注意事项

v0.75 起未知配置键会导致配置加载失败，不要依赖“写了但被忽略”。
config/schema.py 是所有配置字段的唯一来源，进阶数据、训练与 PEFT 选项以官方 Documentation 为准。
Docker 运行需 --gpus all 并使用 -v $(pwd):/workspace 挂载工作目录，Windows PowerShell 下挂载语法不同。