BloomBee

多台普通设备拼起来，也能微调和跑大模型

BloomBee 是一个面向大语言模型（LLM）的去中心化微调与推理框架，核心思路是把模型训练和推理任务拆分到多台普通设备上协同完成，并通过 offloading 技术把显存压力转移到内存或磁盘，从而让显存有限的消费级显卡甚至多机环境也能跑起大模型。它结合了流水线并行（pipeline parallelism）和张量并行（tensor parallelism），把模型层切分到不同节点，再配合 PyTorch 生态实现分布式调度。项目主要解决个人或小团队缺乏高端 GPU、又想对 Llama 等模型做微调和推理的痛点，目标是降低大模型训练与部署的硬件门槛。当前项目处于早期阶段，星标约 130，适合关注去中心化训练、分布式推理和显存优化方向的开发者研究试用。