qlora

本站收录 17 个带「qlora」标签的 AI 开源项目

LlamaFactory统一的 LLM 高效微调框架,支持 100+ 主流模型(LLM 与 VLM),集成 LoRA 等前沿技术,被 ACL 2024 收录,是微调领域最流行的开源工具★ 76,047airllmAirLLM 是一个针对大模型推理优化的开源工具,核心目标是让 70B 级别的超大模型能够在仅 4GB 显存的单张 GPU 上运行。它通过分层推理和显存卸载技术★ 42,428SoupSoup 是一个用于微调大语言模型(LLM)的开源工具,它通过一个 YAML 配置文件即可完成整个微调流程,极大简化了操作。其核心亮点是采用“层流式训练”(La★ 10,553bitsandbytesbitsandbytes 是一个为 PyTorch 提供 k-bit 量化支持的开源库,旨在让大语言模型(LLM)的部署和微调更加高效、可访问。它解决了大模型显★ 8,540FireflyFirefly 是一个开源的大模型训练工具,专注于高效微调和训练各类主流大语言模型。它解决了开发者在使用不同模型架构时训练流程不统一、配置复杂的问题,提供了一套★ 6,640LLM-Finetuning-ToolkitLLM-Finetuning-Toolkit 是一个面向开源大语言模型的微调、消融和单元测试工具包。它主要解决研究人员和开发者在对 LLM 进行定制化训练时缺乏★ 873haloHalo 是由 White Circle 开源的大语言与多模态模型训练框架,用 Python 编写。它面向从微调到强化学习后训练的完整流程,核心能力包括分布式训★ 862can-i-finetune-this这是一个帮助开发者快速判断 Hugging Face 上的模型能否在本地 GPU 上进行微调的工具。它通过分析模型的参数量、架构和精度,结合用户 GPU 的显存★ 796END-TO-END-GENERATIVE-AI-PROJECTS这是一个汇集端到端生成式AI行业项目的开源仓库,专注于大语言模型(LLM)的完整落地流程,从数据准备、模型微调、推理优化到部署上线。项目旨在为开发者提供可直接参★ 644pmetalPMetal 是一个面向 Apple Silicon 的高性能本地大模型框架,用 Rust 编写,目标是在 Mac 上把 LLM 推理、LoRA/QLoRA 微★ 333mini-verlmini-verl 是字节跳动 verl 强化学习训练框架的轻量单卡版本,目标是在一张消费级 NVIDIA GPU(如 RTX 3090/4090)上跑通大模型★ 311finetuned-qlora-falcon7b-medical这是一个基于Falcon-7B大语言模型,使用QLoRA技术针对心理健康对话数据集进行微调的开源项目。它解决了在有限计算资源下微调大型语言模型的问题,通过QLo★ 263elloraellora 是一个围绕 LoRA 低秩适配微调大语言模型的实验型开源项目,以 Jupyter Notebook 为主要载体,把数据生成、蒸馏、思维链推理与微调★ 231lora-speedrunlora-speedrun 是一个把 LoRA 微调变成竞速比赛的开源基准项目,思路类似 modded-nanogpt,但聚焦在微调场景。它固定任务、固定硬件、★ 151Rearchitecting-LLMs这是 Manning 出版社《Rearchitecting LLMs》一书的官方代码仓库,聚焦大语言模型的结构性优化,涵盖深度/宽度剪枝、知识蒸馏和注意力机制优★ 79MirrorFlow从对话数据到训练的闭环方案:利用模型蒸馏技术打造数字分身,实现个性化 AI 形象的持续进化与迭代。★ 73Finetuning-SuiteFinetuning-Suite 是一个专注于大语言模型高效微调的开源工具包,旨在让开发者能在30秒内完成对 Hugging Face 上任意模型的微调。它解决★ 59