
CUDA-L2
用强化学习自动写出比 cuBLAS 更快的矩阵乘法内核
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 487
使用教程
环境要求
- CUDA 显卡
- C++ 编译环境
- 指定版本矩阵库
安装与启动步骤
-
1拉指定版本的矩阵库
它锁一个具体版本,别用最新。
git clone -b v4.2.1 https://github.com/NVIDIA/cutlass.git cutlass -
2备编译环境
它要现场编译内核。
-
3跑基线对比
先复现官方给的对比结果。
-
4按自己的矩阵形状调
形状不同最优策略不同。
-
5看相对官方库的差距
它的目标是超过官方实现的性能。
如何确认成功
在同一批矩阵形状上跑出自研内核与官方库的对比数据,性能差距与论文报告的方向一致
注意事项
- 它用强化学习搜索矩阵乘法的内核实现,目标是超过官方库。
- 依赖特定版本的底层矩阵库,版本换了结果不可比。
- 矩阵形状决定最优策略,别只看一个形状的成绩。
- 复现成本高,先跑官方给的对比脚本。
核心亮点
- 性能卓越:在多种矩阵尺寸上超越 NVIDIA 官方 cuBLAS,实测数据支撑
- 自动化调优:无需人工专家经验,强化学习自动探索最优内核配置
- 方法创新:将 RL 应用于底层算子优化,开辟新研究方向
不足之处
- 项目早期,文档和社区生态尚不完善
- 仅支持特定 GPU 架构,通用性待验证
适用场景
- 深度学习框架中矩阵乘法的性能优化
- 科学计算中大规模矩阵运算加速
- GPU 内核自动生成与调优研究
替代项目
Triton、cutlass、TVM
上一篇:Spatial-SSRL
下一篇:spiral
同类项目推荐
LoRI
开源
多任务微调不打架,LoRA 参数更高效
[COLM 2025] LoRI: Reducing Cross-Task Interference in Multi-Task Low-Rank Adaptation
Kardia-R1
开源
让AI学会共情,用强化学习提升情感支持回复质量
[WWW] Kardia-R1: Unleashing LLMs to Reason toward Understanding and Empathy for Emot···
sagify
开源
一条命令把本地模型部署到 AWS SageMaker,省心省力
LLMs and Machine Learning done easily
examples
开源
看示例,快速上手 Neptune 实验管理
Examples of how to use Neptune for different use cases and with various MLOps tools
merge-models
开源
按比例融合两个扩散模型,快速生成新风格模型
Merges two latent diffusion models at a user-defined ratio
Model-Optimizer
开源
一站式压缩大模型,导出即加速推理
A unified library of SOTA model optimization techniques like quantization, distillat···
paradigms
开源
并行采样加速扩散模型,少步生成高质量图像
PyTorch implementation for "Parallel Sampling of Diffusion Models", NeurIPS 2023 Spo···
EAGLE
开源
让大模型生成速度翻倍,无需牺牲输出质量
Official Implementation of EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24), and EAGLE-3 (NeurI···
diffusion_distiller
开源
把扩散模型蒸馏成少步采样,生成速度提升数倍
PyTorch Implementation of "Progressive Distillation for Fast Sampling of Diffusion M···