qlora
本站收录 16 个带「qlora」标签的 AI 开源项目
LlamaFactory统一的 LLM 高效微调框架，支持 100+ 主流模型（LLM 与 VLM），集成 LoRA 等前沿技术，被 ACL 2024 收录，是微调领域最流行的开源工具★ 75,189
airllmAirLLM 是一个针对大模型推理优化的开源工具，核心目标是让 70B 级别的超大模型能够在仅 4GB 显存的单张 GPU 上运行。它通过分层推理和显存卸载技术★ 35,207
bitsandbytesbitsandbytes 是一个为 PyTorch 提供 k-bit 量化支持的开源库，旨在让大语言模型（LLM）的部署和微调更加高效、可访问。它解决了大模型显★ 8,505
SoupSoup 是一个用于微调大语言模型（LLM）的开源工具，它通过一个 YAML 配置文件即可完成整个微调流程，极大简化了操作。其核心亮点是采用“层流式训练”（La★ 7,822
FireflyFirefly 是一个开源的大模型训练工具，专注于高效微调和训练各类主流大语言模型。它解决了开发者在使用不同模型架构时训练流程不统一、配置复杂的问题，提供了一套★ 6,653
LLM-Finetuning-ToolkitLLM-Finetuning-Toolkit 是一个面向开源大语言模型的微调、消融和单元测试工具包。它主要解决研究人员和开发者在对 LLM 进行定制化训练时缺乏★ 870
haloHalo 是由 White Circle 开源的大语言与多模态模型训练框架，用 Python 编写。它面向从微调到强化学习后训练的完整流程，核心能力包括分布式训★ 798
can-i-finetune-this这是一个帮助开发者快速判断 Hugging Face 上的模型能否在本地 GPU 上进行微调的工具。它通过分析模型的参数量、架构和精度，结合用户 GPU 的显存★ 792
END-TO-END-GENERATIVE-AI-PROJECTS这是一个汇集端到端生成式AI行业项目的开源仓库，专注于大语言模型（LLM）的完整落地流程，从数据准备、模型微调、推理优化到部署上线。项目旨在为开发者提供可直接参★ 635
pmetalPMetal 是一个面向 Apple Silicon 的高性能本地大模型框架，用 Rust 编写，目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微★ 321
mini-verlmini-verl 是字节跳动 verl 强化学习训练框架的轻量单卡版本，目标是在一张消费级 NVIDIA GPU（如 RTX 3090/4090）上跑通大模型★ 304
finetuned-qlora-falcon7b-medical这是一个基于Falcon-7B大语言模型，使用QLoRA技术针对心理健康对话数据集进行微调的开源项目。它解决了在有限计算资源下微调大型语言模型的问题，通过QLo★ 262
lora-speedrunlora-speedrun 是一个把 LoRA 微调变成竞速比赛的开源基准项目，思路类似 modded-nanogpt，但聚焦在微调场景。它固定任务、固定硬件、★ 149
MirrorFlow从对话数据到训练的闭环方案：利用模型蒸馏技术打造数字分身，实现个性化 AI 形象的持续进化与迭代。★ 73
Rearchitecting-LLMs这是 Manning 出版社《Rearchitecting LLMs》一书的官方代码仓库，聚焦大语言模型的结构性优化，涵盖深度/宽度剪枝、知识蒸馏和注意力机制优★ 73
Finetuning-SuiteFinetuning-Suite 是一个专注于大语言模型高效微调的开源工具包，旨在让开发者能在30秒内完成对 Hugging Face 上任意模型的微调。它解决★ 58