rapid_llm

用 Triton 手写轻量推理框架，快速读懂并改造 LLM 内核

rapid_llm 是一个基于 Triton 内核实现的轻量级类 LLaMA 大模型推理框架，用 Python 编写，目标是在不依赖庞大生态的前提下提供可读、可改的推理内核实现。它解决的是主流推理框架（如 vLLM、SGLang）代码体量大、CUDA 定制深、二次开发门槛高的问题，让开发者能用更少的代码理解并改造注意力计算、KV Cache 管理与请求调度。核心能力包括 Triton 编写的注意力内核、连续批处理（continuous batching）调度、对 FlashAttention-3 的支持，以及对 LLaMA3、Qwen3-MoE、Qwen3-VL 等模型结构的适配，同时涉及张量并行与多模态输入的初步支持。项目定位偏教学与实验，适合作为学习推理系统内部机制的起点，也方便研究者快速验证新的调度或内核优化想法。