attention
本站收录 20 个带「attention」标签的 AI 开源项目
sglangSGLang 是一个高性能的大语言模型和多模态模型服务框架，旨在解决 LLM 推理服务中吞吐量低、延迟高、显存利用率不足等问题。它通过 RadixAttenti★ 36,594
flashinferFlashInfer 是一个面向大语言模型推理服务的高性能 GPU 内核库，用 CUDA 和 PyTorch 实现，专注解决 LLM 部署中注意力计算、MoE ★ 6,516
SageAttention清华开源的量化注意力算子，相较 FlashAttention 可实现 2~5 倍加速，在语言、图像与视频模型上均保持端到端指标不损失，被 ICLR 2025、I★ 3,953
scenicScenic 是 Google 开源、基于 JAX 的计算机视觉研究库，目标是为视觉任务提供一套干净、模块化且高性能的训练与推理框架。它解决的是研究代码重复造轮★ 3,839
NLP-Models-TensorflowNLP-Models-Tensorflow 是一个汇集多种自然语言处理（NLP）模型实现的 TensorFlow 项目，主要面向 TensorFlow 1.13★ 1,779
awesome-multi-agent-papers这是一个精选的多智能体系统论文合集，旨在为研究人员和开发者提供该领域最核心的学术资源。项目系统梳理了多智能体协作、通信、规划、记忆等关键方向的重要论文，覆盖了从★ 1,695
gansformerGansformer 是一个将 Transformer 架构引入生成对抗网络（GAN）的图像生成模型，旨在解决传统 CNN 生成器在捕捉全局结构和多物体场景组合★ 1,344
SpargeAttnSpargeAttn 是一个训练无关的稀疏注意力加速库，旨在加速任意模型（尤其是视频生成模型）的推理过程。它通过利用注意力分数中的稀疏性，动态跳过不重要的计算，★ 1,257
tiny-vllmtiny-vllm 是一个用 C++ 与 CUDA 从零实现的高性能 LLM 推理引擎教学项目，定位为 vLLM 的精简版。它解决的核心问题是：主流推理框架（如★ 1,135
keras_cv_attention_modelskeras_cv_attention_models 是一个基于 TensorFlow/Keras 的计算机视觉模型库，汇集了众多主流和前沿的视觉骨干网络，如 B★ 626
open-musiclmopen-musiclm 是 MusicLM 的开源实现，MusicLM 是 Google Research 提出的文本生成音乐模型。该项目在原始论文基础上做了★ 560
Chinese-ChatBotChinese-ChatBot 是一个基于深度序列到序列（Seq2Seq）模型的中文聊天机器人，使用约10万组中文对白训练而成，并引入注意力机制（Attenti★ 322
spear-tts-pytorchSpear-TTS-PyTorch 是一个基于 PyTorch 实现的多说话人文本转语音（TTS）注意力网络的开源项目。它复现了 Spear-TTS 模型，旨在★ 278
awesome-snnawesome-snn 是一个精选的脉冲神经网络（SNN）开源项目合集，旨在为研究人员和开发者提供一站式的SNN资源导航。它系统整理了SNN领域的优秀开源库、框★ 238
modern-llm-notebook这是一个从零开始构建现代大语言模型的实战课程，基于 PyTorch 和 Jupyter Notebook 实现。项目包含 26 个可运行的 Notebook，覆★ 219
rapid_llmrapid_llm 是一个基于 Triton 内核实现的轻量级类 LLaMA 大模型推理框架，用 Python 编写，目标是在不依赖庞大生态的前提下提供可读、可★ 194
chatbot这是一个基于深度学习的中文聊天机器人项目，使用Python和TensorFlow实现，核心采用Seq2Seq模型并引入注意力机制。项目提供详细的教程和带注释的代★ 190
MultiTurnDialogZooMultiTurnDialogZoo 是一个基于 PyTorch 的多轮对话基线模型集合，旨在为研究者和开发者提供统一的基准实现，以解决多轮对话中上下文建模、回★ 163
llm-flashcardsllm-flashcards 是一个面向大语言模型学习者的可视化知识库，以卡片形式系统整理了从分词到部署的 180 个核心概念。该项目旨在帮助用户快速理解 LL★ 135
KsanaDiTKsanaDiT 是一个面向视频与图像生成场景的高性能 Diffusion Transformer（DiT）推理框架，专注于解决 DiT 模型在推理阶段计算量大★ 63