项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 885
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Docker + NVIDIA Container Toolkit
- 至少一张训练卡
安装与启动步骤
-
1准备环境
这是一个微调与推理平台，推荐用容器或独立机器部署。
docker --version && nvidia-smi -
2拉取部署
按仓库说明起服务，注意挂载模型与数据目录。
git clone https://github.com/invergent-ai/surogate.git cd surogate && docker compose up -d -
3准备数据
微调数据整理成 jsonl，字段与模板保持一致。
head -2 data/train.jsonl -
4提交任务
从控制台或 CLI 提交微调，观察并发与显存占用。
curl -s localhost:8000/health
如何确认成功
控制台可访问，且能提交一个最小微调任务并看到 loss 曲线。
注意事项
- 并发调高前先压测显存，OOM 会连带把推理服务打挂。
- 平台承诺从单卡微调到数百并发，实际按你的卡型估。
核心亮点
- 基于 CUDA 深度优化，训练吞吐量显著高于传统框架
- 原生支持 llama、qwen 等主流模型，开箱即用
- C++ 实现，内存和计算资源控制更精细
不足之处
- 文档/社区待观察
- 仅支持 NVIDIA GPU，硬件兼容性受限
- 早期项目，生态和工具链尚不成熟
适用场景
- 大模型高效微调，降低训练成本
- 生成式 AI 模型的快速迭代实验
- 对训练性能有极致要求的科研或生产环境
替代项目
Unsloth、Axolotl、LLaMA-Factory
上一篇：Nemotron
同类项目推荐
verl-vla
开源
采集+微调+RL 一条龙，让机器人 VLA 策略快速迭代
A unified VLA post-training framework for human-in-the-loop data collection, fine-tu···
Awesome-Credit-Assignment-in-LLM···
开源
一榜看懂LLM强化学习信用分配，快速选型不迷路
Curated papers, taxonomy, benchmarks, and decision guides for credit assignment in r···
SkyRL
开源
把 LLM 强化学习全流程拆成乐高，多轮工具任务也能直接训
SkyRL: A Modular Full-stack RL Library for LLMs
training_hub
开源
一站式调用主流LLM训练算法，快速验证训练策略
An algorithm-focused interface for common llm training, continual learning, and rein···
Rose
开源
无状态优化器，省内存，稳收敛，直接替换 Adam
Rose: Range-Of-Slice Equilibration PyTorch optimizer. Stateless optimization through···
alpa
开源
写单机代码，自动跑超大模型分布式训练与推理
Training and serving large-scale neural networks with auto parallelization.
sdnq
开源
低比特量化扩散模型，小显存也能跑图
SD.Next Quantization Engine
SINQ
开源
把大模型压小，又快又准，ICML 2026 出品
Welcome to the official repository of SINQ! A novel, fast and high-quality quantizat···
RandOpt
开源
在预训练权重附近挖出多个专家模型，提升泛化与集成效果
Official Codebase for "Neural Thickets: Diverse Task Experts Are Dense Around Pretra···