EasyLM

用 JAX 轻松搞定 LLM 训练、微调和部署

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 262 🐛 待处理 32 👀 关注 37
GitHub ↗
GitHub 星标 ★ 2517
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,完全免费,可自行部署使用。

项目预览

EasyLM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队young-geng
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型chatbot,deep-learning,flax,jax,language-model,large-language-models,llama,natural-language-processing,transformer
GitHub 星标★ 2517
上线时间2022-11-22 00:00:00
代码更新2024-08-13
仓库体积387 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数9

项目介绍

EasyLM 是一个基于 JAX/Flax 构建的大语言模型(LLM)一站式解决方案,旨在简化 LLM 的预训练、微调、评估和部署流程。它解决了 LLM 开发中训练代码复杂、资源管理困难、多模型支持不足等问题,提供统一的接口和工具链。核心能力包括:支持 LLaMA、Mistral 等主流模型的预训练与指令微调;利用 JAX 的自动并行和 pjit 实现高效分布式训练;内置评估基准和推理服务器,支持与 Hugging Face 生态集成。通过模块化设计,用户可快速切换模型和任务,降低上手门槛,适合研究者和工程师进行模型定制与部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2517

使用教程

难度:进阶 约 20 分钟 部署方式:本地安装 5 步

环境要求

  • Python 环境(Cloud TPU 主机已预装 Python 与 PIP)
  • GPU 主机需预先安装 Anaconda
  • JAX/Flax(由环境文件或 TPU 安装脚本提供)
  • Hugging Face transformers 与 datasets(EasyLM 依赖)
  • 按主机类型选择:GPU 主机或 Google Cloud TPU 主机

安装与启动步骤

  1. 1克隆 EasyLM 仓库

    从 GitHub 拉取源码并进入项目目录,这是所有安装方式的第一步。

    git clone https://github.com/young-geng/EasyLM.git
    cd EasyLM
  2. 2设置 PYTHONPATH

    把当前仓库根目录加入 PYTHONPATH,让后续脚本能直接导入 EasyLM 模块。

    export PYTHONPATH="${PWD}:$PYTHONPATH"
  3. 3创建 GPU 环境(GPU 主机)

    仅 GPU 主机需要,使用仓库自带的 conda 环境文件一次性安装依赖。

    conda env create -f scripts/gpu_environment.yml
  4. 4激活 conda 环境

    环境创建完成后激活名为 EasyLM 的环境,再开始训练或推理。

    conda activate EasyLM
  5. 5TPU 主机初始化

    仅在 Cloud TPU 主机上执行,脚本会自动完成该主机的环境配置。

    ./scripts/tpu_vm_setup.sh

关键配置

配置项必填说明示例
PYTHONPATH是把 EasyLM 仓库根目录加入模块搜索路径,否则无法导入项目代码。/your/path/EasyLM:$PYTHONPATH

如何确认成功

GPU 主机上 conda activate EasyLM 能成功激活;TPU 主机上 tpu_vm_setup.sh 执行完毕无报错,即表示安装完成。

常见问题

Q:GPU 和 TPU 主机安装方式一样吗?

A:不一样。GPU 主机用 conda env create -f scripts/gpu_environment.yml 创建环境;Cloud TPU 主机执行 ./scripts/tpu_vm_setup.sh 完成初始化。

Q:目前支持哪些模型?

A:README 中列出支持 LLaMA、LLaMA 2、LLaMA 3 系列模型的预训练、微调、评估与推理服务。

Q:能在多台机器上训练大模型吗?

A:可以。EasyLM 借助 JAX 的 pjit 实现权重与数据分片,支持单主机多 TPU/GPU,也支持 Google Cloud TPU Pod 上的多主机训练。

Q:为什么运行代码时报找不到模块?

A:通常是没设置 PYTHONPATH。请在仓库根目录执行 export PYTHONPATH="${PWD}:$PYTHONPATH" 后重试。

注意事项

  • EasyLM 构建在 JAX/Flax 之上,并复用了 Hugging Face 的 transformers 与 datasets。
  • 安装步骤需按主机类型二选一:GPU 主机走 conda,Cloud TPU 主机走 setup 脚本。
  • README 只给出了安装说明,训练脚本、模型权重路径和推理服务端口需另行查阅仓库其他文档。

核心亮点

  • 基于 JAX/Flax,自动并行化,训练效率高且显存优化好
  • 支持 LLaMA、Mistral 等主流模型,预训练/微调/评估/部署全流程覆盖
  • 与 Hugging Face 生态集成,模型加载和转换方便

不足之处

  • JAX 生态相对 PyTorch 较小,社区资源和教程较少
  • 文档和示例不够丰富,新手入门门槛较高

适用场景

  • 研究机构进行大模型预训练和实验
  • 企业快速微调开源模型以适配垂直领域
  • 开发者部署自建 LLM 服务,集成到聊天应用

替代项目

Hugging Face Transformers、DeepSpeed、MosaicML Composer

上一篇:h2o-llmstudio

下一篇:RLAIF-V

同类项目推荐

SLED 开源

不训练不微调,用模型自己纠正自己,让回答更靠谱

SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Mode···

★ 123 2026-08-09
GeoPT 开源

用几何预训练,让物理仿真又快又准

Official Code for "GeoPT: Scaling Physics Simulation via Lifted Geometric Pre-Traini···

★ 279 2026-08-09
Self-Supervised-Gans-Pytorch 开源

用旋转自监督让 GAN 训练更稳,生成图像更逼真

Ready to train Pytorch implementation of the CVPR'19 paper "Self-Supervised GANs via···

★ 66 2026-08-09
ai-edge-quantizer 开源

已训练好的 LiteRT 模型直接量化压缩,端侧部署更小更快

Deprecated: now LiteRT Quantizer

★ 216 2026-10-17
DPO-Shift 开源

修正 DPO 分布偏移,让模型对齐更稳更准

DPO-Shift: Shifting the Distribution of Direct Preference Optimization

★ 59 2026-08-09
Kiln 开源

一站式搞定 AI 系统开发:从数据标注到微调评估,全流程可视化协作

Build, Evaluate, and Optimize AI Systems. Includes evals, RAG, agents, fine-tuning, ···

★ 5264 2026-08-10
EasyEdit 开源

像改数据库一样,直接修改大模型的知识,无需重训练。

[ACL 2024] An Easy-to-use Knowledge Editing Framework for LLMs.

★ 2937 2026-08-09
ggufy 开源

一条命令把 safetensors 转成 GGUF,本地跑模型更省事

CLI/GUI tool for efficient and easy safetensors and gguf model conversion

★ 109 2026-10-16
HALC 开源

减少多模态模型幻觉,让AI描述更可信

[ICML 2024] Official implementation for "HALC: Object Hallucination Reduction via Ad···

★ 117 2026-08-09