CAME

减少大模型训练显存，优化器也能自适应省内存

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 9 🐛 待处理 1 👀 关注 2
GitHub ↗
GitHub 星标 ★ 100
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

CAME 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队yangluo7
GitHubhttps://github.com/yangluo7/CAME
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型deep-learning,diffusion-transformer,large-language-models,memory-efficient,optimizer
GitHub 星标★ 100
上线时间2023-07-20 00:00:00
代码更新2025-03-22
仓库体积1020 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

CAME 是 ACL 2023 论文《CAME: Confidence-guided Adaptive Memory Optimization》的官方实现，一个用于大模型训练的自适应优化器。它针对 Adam 及其变体（如 Adafactor）在训练大模型时显存占用高、收敛不稳定的问题，提出基于置信度引导的自适应内存优化策略。核心能力包括：通过置信度机制动态调整优化器状态的内存分配，减少显存消耗；同时保持甚至提升训练收敛速度和模型性能。CAME 在多个 NLP 任务上验证了效果，尤其适合资源受限环境下的大模型微调和预训练。项目提供 PyTorch 实现，接口与常见优化器兼容，可无缝替换现有训练流程。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 100

核心亮点

  • 显存占用显著低于 Adam，接近 Adafactor 水平
  • 收敛速度优于 Adafactor，在部分任务上超越 Adam
  • API 兼容 PyTorch 优化器，替换成本低

不足之处

  • 项目处于早期，文档和社区支持有限
  • 仅支持 PyTorch，未覆盖 TensorFlow 等框架

适用场景

  • 大模型预训练或微调时显存不足的场景
  • 需要平衡内存和训练速度的 NLP 任务
  • 研究优化器算法或对比实验

替代项目

Adafactor、LAMB、LARS

上一篇：DS2

下一篇：train-deepseek-r1

同类项目推荐

MirrorFlow 开源

对话喂出来的数字分身，越聊越像你自己。

从对话数据到训练:数字分身 + 模型蒸馏 From Dialogue Data to Training Closed-Loop: D···

★ 73 2026-08-09
AngelSlim 开源

一键压缩大模型，部署更快更省资源

Model compression toolkit engineered for enhanced usability, comprehensiveness, and ···

★ 1787 2026-08-09
FreeFuse 开源

测试时动态路由，多 LoRA 融合不打架

[TMLR26]FreeFuse: Multi-Subject LoRA Fusion via Adaptive Token-Level Routing at Test···

★ 249 2026-08-09
meta-context-engineering 开源

让AI自动进化上下文策略，告别手写提示词

[ICML 2026] Meta Context Engineering via Agentic Skill Evolution

★ 185 2026-08-09
modalities 开源

PyTorch 原生分布式训练，配置化复现大模型实验

Modalities, a PyTorch-native framework for distributed and reproducible foundation m···

★ 112 2026-09-19
LLMtuner 开源

几行代码微调大模型，文本语音全覆盖

FineTune LLMs in few lines of code (Text2Text, Text2Speech, Speech2Text)

★ 252 2026-08-09
HoliTom 开源

合并视频令牌，让视频大模型推理快数倍

[NeurIPS 2025] HoliTom: Holistic Token Merging for Fast Video Large Language Models

★ 86 2026-08-09