ZO-LLM

用零阶优化在低显存下微调大模型，省内存不省效果

ZO-LLM 是 ICML'24 论文《Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark》的官方代码库，专注于零阶优化（Zeroth-Order Optimization）在大语言模型微调中的内存效率研究。该项目通过系统性基准测试，对比了零阶优化与一阶优化（如Adam）在微调LLM时的性能、内存占用和收敛速度，旨在解决大模型微调中显存不足的痛点。核心能力包括：提供多种零阶优化器（如SGD、Adam等）的实现，支持不同模型规模和任务类型的微调实验，并给出详细的基准结果和配置。项目为研究者和工程师提供了在有限GPU资源下微调大模型的替代方案，尤其适合单卡或低显存环境。代码基于Python，集成HuggingFace生态，易于复现和扩展。