PERSIA

多机并行训练大规模推荐模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 55 🐛 待处理 2 👀 关注 8
GitHub ↗
GitHub 星标 ★ 410
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无官网定价信息

项目预览

PERSIA 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队PersiaML
定价模式🏷️完全免费
价格说明开源免费,无官网定价信息
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Rust
技术栈/模型bagua,deep-learning,distributed-computing,machine-learning,persia,pytorch,recommender-system,rust-lang
GitHub 星标★ 410
上线时间2021-06-24 00:00:00
代码更新2026-10-26
仓库体积1.1 MB
本站数据更新2026-10-31
维护状态活跃
收录时间2026-10-31
浏览次数0

项目介绍

PERSIA 是一个基于 PyTorch 的分布式深度学习推荐模型训练框架,主要面向大规模推荐系统场景。它解决的是单机训练难以承载超大 embedding 表和稀疏特征的问题,通过分布式架构把模型参数切分到多台机器上并行训练。核心能力包括:高性能的稀疏参数服务器式通信、对推荐模型常见结构(如 embedding + MLP)的原生支持、与 PyTorch 训练流程的对接,以及用 Rust 实现底层通信与调度以获得较低开销。项目定位在训练框架层,帮助算法团队把推荐模型从单卡实验扩展到多机多卡生产训练,减少自研分布式通信与参数同步的成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 410

核心亮点

  • 底层用 Rust 实现通信与调度,稀疏参数同步开销较低
  • 面向推荐系统场景设计,原生支持超大 embedding 表切分
  • 与 PyTorch 生态对接,模型定义沿用熟悉的训练流程

不足之处

  • 早期项目,星标与社区规模较小,生态和文档成熟度待观察
  • 只聚焦推荐模型,通用性不如通用分布式训练框架

适用场景

  • 电商或内容平台的 CTR 预估模型多机训练
  • 超大规模 embedding 推荐模型的分布式扩展
  • 推荐算法团队自建生产级训练流水线

替代项目

PyTorch Distributed、Horovod、DeepRec

上一篇:nnscaler

下一篇:jeo

同类项目推荐

chatgpt-finetune-ui 开源

拖拽上传数据,点点鼠标就能微调 ChatGPT 模型

Simple python WebUI for fine-tuning ChatGPT (gpt-3.5-turbo)

★ 173 2026-08-09
verl-omni 开源

给扩散和全模态模型做 RL 后训练,一套框架跑通

Multimodal RL training framework for diffusion & omni models

★ 1413 2026-10-12
allamo 开源

轻量可改,小资源也能训模型

A lightweight, hackable, and efficient framework for training and fine-tuning langua···

★ 197 2026-09-29
Rethinking-OPD 开源

拆解大模型在线蒸馏为何翻车,给出可复现配方

[TMLR] Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Me···

★ 1061 2026-09-15
Dreambooth-Stable-Diffusion 开源

用几张照片,训练专属 Stable Diffusion 模型,生成你的定制图像。

Implementation of Dreambooth (https://arxiv.org/abs/2208.12242) by way of Textual In···

★ 3214 2026-08-09
Self-Supervised-Gans-Pytorch 开源

用旋转自监督让 GAN 训练更稳,生成图像更逼真

Ready to train Pytorch implementation of the CVPR'19 paper "Self-Supervised GANs via···

★ 66 2026-08-09
shortened-llm 开源

压缩LLM,推理提速,显存减半,生成依旧流畅。

Compressed LLMs for Efficient Text Generation [ICLR'24 Workshop]

★ 91 2026-08-09
KIVI 开源

2bit 量化 KV Cache,长上下文推理显存减半不降质

[ICML 2024] KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache

★ 438 2026-08-09
codebase-for-incremental-learnin··· 开源

让大模型学新知识不忘旧技能,复现ACL论文的增量学习工具箱

[ACL2024] A Codebase for Incremental Learning with Large Language Models; Official r···

★ 63 2026-08-09