FATE-LLM
数据不出域，多方联合微调大模型
FATE-LLM 是微众银行 FATE 联邦学习框架下的 LLM 扩展组件，目标是在不集中原始数据的前提下完成大模型与中小模型的协同训练和推理。它解决的核心问题是：企业数据分散、合规要求高，无法把语料汇总到一处做微调，而直接调用外部 API 又有隐私风险。项目提供联邦微调、联邦提示学习、联邦知识蒸馏等能力，支持参数高效微调（如 LoRA）与同态加密、安全聚合等隐私保护机制，让多方在各自本地数据上训练，只交换梯度或中间结果。它同时覆盖 LLM 与 SLM 场景，可对接 HuggingFace 生态模型，适合金融、医疗等对数据不出域有硬性要求的行业做联合建模。整体定位偏工程化，是 FATE 生态面向大模型时代的补充模块。
开源
free
模型训练
GitHub 星标
★ 271
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类模型训练
开发团队FederatedAI
所属国家
定价模式free
价格说明开源免费，需自行部署
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型llms,slms
GitHub 星标★ 271
30天Star增速
HF 下载量
上线时间2023-05-24 00:00:00
最近更新2026-09-14 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数0
使用教程
核心亮点
- 依托 FATE 成熟联邦框架，具备安全聚合、同态加密等隐私保护能力
- 支持联邦微调、提示学习、知识蒸馏多种协同训练范式，覆盖 LLM 与 SLM
- 与 HuggingFace 模型生态兼容，可复用现有 PEFT 微调流程
不足之处
- 早期项目，星标仅 271，社区规模与文档完善度有限
- 联邦训练通信与加密开销大，实际部署门槛和成本较高
适用场景
- 金融机构联合多家分行数据微调风控大模型
- 医院之间在不共享病历的前提下联合训练医疗问答模型
- 多企业协作场景下用联邦蒸馏压缩部署小模型
替代项目
FedML、OpenFedLLM
项目介绍
上一篇：SkyRL
下一篇：jax-llm-examples
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···