项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 11791
使用教程
环境要求
- Python 3.12 及以上版本
- 已安装 pip 包管理工具
- LLM 微调需安装 ludwig[llm] 附加依赖
- 如需全部功能需安装 ludwig[full] 附加依赖
安装与启动步骤
-
1确认 Python 版本
Ludwig 要求 Python 3.12 或更高版本,先确认本机 Python 版本满足要求。
python --version -
2安装核心包
安装 Ludwig 核心功能,包含基础训练与推理能力,适合入门使用。
pip install ludwig -
3安装全部依赖
如需使用 LLM 微调、图像等多模态全部功能,安装 full 附加依赖。
pip install "ludwig[full]" -
4仅安装 LLM 依赖
若只做 LLM 微调,安装 llm 附加依赖可减少不必要的包。
pip install "ludwig[llm]" -
5编写 YAML 配置
创建 model.yaml,声明模型类型、基座模型、LoRA 适配器与训练轮数等。
-
6启动训练
用 ludwig train 指定配置文件与数据集启动训练,把 my_data.csv 换成你的数据路径。
ludwig train --config model.yaml --dataset my_data.csv
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
model_type | 是 | 声明模型类型,llm 表示大语言模型微调任务 | llm |
base_model | 是 | 指定要微调的基座模型名称或路径 | meta-llama/Llama-3.1-8B |
adapter.type | 否 | 适配器类型,lora 表示使用 LoRA 低秩微调 | lora |
trainer.type | 是 | 训练器类型,finetune 表示微调训练 | finetune |
trainer.epochs | 否 | 训练轮数,控制模型遍历数据集的次数 | 3 |
output_features | 是 | 定义输出特征及其数据类型 | name: response, type: text |
如何确认成功
pip 安装无报错,且执行 ludwig train 后能开始输出训练日志,即表示环境与配置正常。
常见问题
Q:安装 ludwig 时提示缺少可选依赖怎么办?
A:按需安装附加依赖:pip install "ludwig[full]" 安装全部依赖,或 pip install "ludwig[llm]" 仅安装 LLM 微调依赖。
Q:需要什么 Python 版本?
A:README 明确要求 Python 3.12 及以上,低于该版本请先升级 Python。
Q:如何指定训练配置和数据集?
A:运行 ludwig train --config model.yaml --dataset my_data.csv,把文件名替换为你的实际配置与数据集路径。
Q:YAML 配置里 base_model 写什么?
A:写 Hugging Face 上的模型标识,例如 meta-llama/Llama-3.1-8B,需该模型在你的环境中可用。
注意事项
- Ludwig 使用声明式 YAML 配置,无需编写 Python 训练代码。
- 分布式训练依赖 Ray,大规模训练前建议确认集群环境。
- 更多示例与 Getting Started 请见官网 https://ludwig.ai。
核心亮点
- 声明式配置驱动,无需编写训练循环和模型定义代码,上手极快
- 原生支持多模态数据(文本/图像/表格)混合建模,适用场景广
- 内置超参搜索、模型监控和可视化面板,实验管理开箱即用
不足之处
- 高度抽象化导致自定义复杂模型结构时灵活性受限,需绕开框架
- 文档偏重基础示例,高级用法和疑难排错的社区资料较少
适用场景
- 快速构建 NLP 分类/生成模型的 MVP 原型
- 多模态数据融合场景,如图文联合建模
- 需要自动化调参和实验对比的团队研究项目
替代项目
H2O AutoML、AutoKeras、PyCaret
上一篇:axolotl
同类项目推荐
shortened-llm
开源
压缩LLM,推理提速,显存减半,生成依旧流畅。
Compressed LLMs for Efficient Text Generation [ICLR'24 Workshop]
Skills
开源
给大模型装技能插件,按需组合快速增强能力
A project to improve skills of large language models
brewery-ai
开源
零经验也能在控制台微调 AI 模型
An intuitive console agent to fine-tune AI models with little to no experience requi···
Fast-LLM
开源
让 LLM 训练跑满 GPU,少等快出结果
Accelerating your LLM training to full speed! Made with ❤️ by ServiceNow Research
ToolOrchestra
开源
用强化学习训练模型更聪明地调用工具、编排工作流
ToolOrchestra is an end-to-end RL training framework for orchestrating tools and age···
redco
开源
一键自动化分布式训练推理,轻松搞定联邦学习与隐私保护
NAACL '24 (Best Demo Paper RunnerUp) / MlSys @ NeurIPS '23 - RedCoast: A Lightweight···
lora
开源
用少量图片和普通显卡,快速训练专属图像模型
Using Low-rank adaptation to quickly fine-tune diffusion models.
OnlineSPEC
开源
让草稿模型边推理边进化,解码速度越用越快
[ICML 2026] When Drafts Evolve: Speculative Decoding Meets Online Learning
KnowledgeCircuits
开源
拆解大模型内部知识电路,精准定位事实存储与推理路径
[NeurIPS 2024] Knowledge Circuits in Pretrained Transformers
