CAME 是模型训练领域的开源项目，由 yangluo7 开发，2023 年首次发布。
它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 100。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-07-13。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：大模型预训练或微调时显存不足的场景。同类可对比的替代方案包括 Adafactor、LAMB、LARS。
CAME
减少大模型训练显存，优化器也能自适应省内存
CAME 是 ACL 2023 论文《CAME: Confidence-guided Adaptive Memory Optimization》的官方实现，一个用于大模型训练的自适应优化器。它针对 Adam 及其变体（如 Adafactor）在训练大模型时显存占用高、收敛不稳定的问题，提出基于置信度引导的自适应内存优化策略。核心能力包括：通过置信度机制动态调整优化器状态的内存分配，减少显存消耗；同时保持甚至提升训练收敛速度和模型性能。CAME 在多个 NLP 任务上验证了效果，尤其适合资源受限环境下的大模型微调和预训练。项目提供 PyTorch 实现，接口与常见优化器兼容，可无缝替换现有训练流程。
开源
free
开源模型
GitHub 星标
★ 100
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队yangluo7
所属国家
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型deep-learning,diffusion-transformer,large-language-models,memory-efficient,optimizer
GitHub 星标★ 100
30天Star增速
HF 下载量
上线时间2023-07-20 00:00:00
最近更新2026-07-13 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 显存占用显著低于 Adam，接近 Adafactor 水平
- 收敛速度优于 Adafactor，在部分任务上超越 Adam
- API 兼容 PyTorch 优化器，替换成本低
不足之处
- 项目处于早期，文档和社区支持有限
- 仅支持 PyTorch，未覆盖 TensorFlow 等框架
适用场景
- 大模型预训练或微调时显存不足的场景
- 需要平衡内存和训练速度的 NLP 任务
- 研究优化器算法或对比实验
替代项目
Adafactor、LAMB、LARS
项目介绍
上一篇：DS2
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···