FATE-LLM

数据不出域,多方联合微调大模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 43 🐛 待处理 7 👀 关注 16
GitHub ↗
GitHub 星标 ★ 273
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

FATE-LLM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队FederatedAI
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型llms,slms
GitHub 星标★ 273
上线时间2023-05-24 00:00:00
代码更新2026-09-04
仓库体积7.6 MB
本站数据更新2026-11-03
维护状态维护中
收录时间2026-09-16
浏览次数1

项目介绍

FATE-LLM 是微众银行 FATE 联邦学习框架下的 LLM 扩展组件,目标是在不集中原始数据的前提下完成大模型与中小模型的协同训练和推理。它解决的核心问题是:企业数据分散、合规要求高,无法把语料汇总到一处做微调,而直接调用外部 API 又有隐私风险。项目提供联邦微调、联邦提示学习、联邦知识蒸馏等能力,支持参数高效微调(如 LoRA)与同态加密、安全聚合等隐私保护机制,让多方在各自本地数据上训练,只交换梯度或中间结果。它同时覆盖 LLM 与 SLM 场景,可对接 HuggingFace 生态模型,适合金融、医疗等对数据不出域有硬性要求的行业做联合建模。整体定位偏工程化,是 FATE 生态面向大模型时代的补充模块。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 273

技术标签

核心亮点

  • 依托 FATE 成熟联邦框架,具备安全聚合、同态加密等隐私保护能力
  • 支持联邦微调、提示学习、知识蒸馏多种协同训练范式,覆盖 LLM 与 SLM
  • 与 HuggingFace 模型生态兼容,可复用现有 PEFT 微调流程

不足之处

  • 早期项目,星标仅 271,社区规模与文档完善度有限
  • 联邦训练通信与加密开销大,实际部署门槛和成本较高

适用场景

  • 金融机构联合多家分行数据微调风控大模型
  • 医院之间在不共享病历的前提下联合训练医疗问答模型
  • 多企业协作场景下用联邦蒸馏压缩部署小模型

替代项目

FedML、OpenFedLLM

上一篇:SkyRL

下一篇:jax-llm-examples

同类项目推荐

Flow-Factory 开源

让流匹配模型轻松学会强化学习,生成更符合目标的结果

A unified framework for easy fine-tuning in Flow-Matching models

★ 746 2026-08-09
whichllm 开源

一条命令,找出你电脑上跑得最快的本地大模型

Find the local LLM that actually runs and performs best on your hardware. Ranked by ···

★ 6818 2026-08-09
RLinf 开源

一套框架把具身智能体和机器人策略的强化学习训练跑起来

RLinf: Reinforcement Learning Infrastructure for Embodied and Agentic AI

★ 5577 2026-10-11
Spectral-DeTuning 开源

一键还原生成模型微调前的原始权重,逆向去微调

Official PyTorch Implementation for the "Recovering the Pre-Fine-Tuning Weights of G···

★ 86 2026-08-09
PaddleFormers 开源

在飞桨上跑通大模型微调与训练,开箱即用

PaddleFormers is an easy-to-use library of pre-trained large language model zoo base···

★ 12968 2026-09-15
privacy 开源

给模型训练加隐私锁,敏感数据也能放心训

Library for training machine learning models with privacy for training data

★ 2038 2026-10-17
ArcticTraining 开源

配置即跑通 LLM 后训练,省去搭管线的时间

ArcticTraining is a framework designed to simplify and accelerate the post-training ···

★ 293 2026-09-15
AMD-LLM 开源

在 AMD GPU 上快速跑通 1.35 亿参数语言模型训练

Training code and resources for AMD-135M language models on AMD GPUs.

★ 195 2026-08-09