cuda 第 2 页
本站收录 96 个带「cuda」标签的 AI 开源项目（按 GitHub 星标从高到低，第 2 / 2 页）
TensorSharpTensorSharp 是一个用 C# 编写的原生 .NET 大语言模型推理引擎，专门用于加载和运行 GGUF 格式的模型。它解决的是 .NET 生态中缺少高性★ 596
x-stable-diffusionx-stable-diffusion 是一个专注于 Stable Diffusion 实时推理加速的开源项目，目标是将延迟降低至 0.88 秒。项目集成了多种主★ 556
plotoptixplotoptix 是一个基于 NVIDIA OptiX 9.1 框架的 Python 数据可视化和光线追踪库。它旨在将高性能的光线追踪渲染能力引入 Pytho★ 519
willow-inference-serverWillow 是一个开源的、本地自托管的语言推理服务器，专注于音频和语音场景，同时支持 ASR/STT、TTS 和 LLM 推理。它解决了在本地环境中高效部署多★ 511
AmadeusAmadeus 是一个面向桌面的实时多模态智能体，目标是从桌面助手逐步演进为常驻的 AI 操作系统界面（当前 0.17 α 版）。它解决的是传统桌面 AI 助手★ 442
AL_YoloAL_Yolo 是一个基于 YOLOv5 的实时计算机视觉系统，专注于低延迟的视觉目标检测与跟踪。它把 YOLOv5 的检测能力与屏幕采集、鼠标控制等模块结合，★ 366
swiftLLMswiftLLM 是一个极简但高性能的 LLM 推理系统，专为研究目的设计。它用仅约 2000 行 Python 代码实现了与 vLLM 相当的性能，代码量仅为★ 361
Dia-TTS-ServerDia-TTS-Server 是一个自托管的 Dia TTS 模型推理服务器，旨在解决高质量对话式语音合成部署复杂的问题。它基于 Python 和 FastAP★ 355
ai-hardware-engineer-roadmap这是一个面向 AI 硬件工程师的学习路线图开源项目，用 HTML 页面组织内容，目标是把 AI 推理、AI Agent 编排系统和硬件工程三条线串起来，最终能独★ 291
Kitten-TTS-ServerKitten-TTS-Server 是一个自托管的轻量级文本转语音（TTS）API 服务器，基于 Kitten TTS 模型构建，提供直观的 Web 界面和 G★ 280
VideoHighlighterVideoHighlighter 是一个基于 Ollama 的本地 AI 视频分析工具，目标是让视频理解完全离线、免费运行。它通过视觉搜索、自动高光提取、场景/★ 263
phononPhonon 是一个开源语音识别模型项目，提供 Phonon-2 和 Phonon-1 两代模型，主打低比特量化与多硬件适配。它解决的是语音转文本模型部署门槛高★ 262
comfyui-triton-and-sageattention-installer这是一个为 ComfyUI 用户设计的跨平台安装工具，专门解决 Triton 和 SageAttention 在 Windows 环境下安装困难的问题。Comf★ 243
vision-simplevision-simple 是一个轻量级 C++ 跨平台视觉推理库，目标是让开发者用一套 API 在 Windows、Linux、Android 等平台快速部署★ 240
piper-pluspiper-plus 是一个多语言神经语音合成（TTS）引擎，基于 VITS 模型并引入韵律增强，支持日语、英语、中文、西班牙语、法语、葡萄牙语等 6 种语言（★ 237
aimirroraimirror 是一个面向 AI 时代的下载加速工具，通过并行分片与智能缓存技术，将模型、数据集等大文件的下载速度提升至原来的 200 倍。它支持 Docke★ 216
autoshortsautoshorts 是一个自动化短视频生成工具，专注于从长格式游戏录像中提取高光片段并制作成适合 TikTok 等平台的竖屏短视频。它利用 AI 场景分析（支★ 205
tracemlTraceML 是一个开源的 PyTorch 训练性能诊断工具，旨在帮助开发者定位和解决训练过程中的性能瓶颈。它通过自动捕获和分析训练运行时的性能数据，提供可视★ 189
HOT-Step-CPPHOT-Step-CPP 是一个基于 C++ 与 GGML 推理框架的本地 AI 音乐生成项目，目标是把原本依赖 Python 和重型依赖的音乐生成模型搬到纯 ★ 179
automatic1111-webui-nix这是一个为 NixOS 用户提供的 stable-diffusion-webui 的 Nix 打包方案。它解决了在 NixOS 上安装和运行 AUTOMATIC★ 176
env-doctorenv-doctor 是一个用于诊断和修复 CUDA/GPU 环境兼容性问题的命令行工具，同时提供 MCP（Model Context Protocol）服务器★ 172
comfyui-nixcomfyui-nix 是一个为 ComfyUI 提供的 Nix flake 配置，旨在简化 Stable Diffusion 工作流的部署。它解决了 Comf★ 171
self-hosted-ai-stack这是一个基于 Docker Compose 的一站式自托管 AI 技术栈部署方案，旨在帮助用户快速搭建本地优先、隐私安全的 AI 服务集群。它集成了 Ollam★ 168
locate-anythinglocate-anything 是一个为 NVIDIA LocateAnything-3B 模型打造的轻量级 Web 界面，通过一条 docker compos★ 164
FLAMEGPU2FLAMEGPU2 是一个面向复杂系统仿真的 GPU 加速智能体建模框架，支持 CUDA C++ 和 Python 两种开发方式。它解决的核心问题是：传统基于 ★ 157
model-serving-minefieldmodel-serving-minefield 是一个社区维护的 LLM 推理服务“踩坑登记册”，专门收集那些会让测量结果看似正常、实则自信地给出错误结论的陷阱★ 140
paddockpaddock 是一个用 Rust 编写的原生推理服务器，面向在 NVIDIA 与 Apple Silicon 上运行开放模型。它要解决的问题是：现有推理服务往★ 136
sndr_core_engineSNDR Core Engine (Genesis) 是一个针对消费级 NVIDIA GPU（如 RTX 3090、A5000）的 vLLM 运行时补丁覆盖层，★ 133
z-image-studioz-image-studio 是一个围绕阿里通义 Z-Image-Turbo 文生图模型打造的多形态工具集，提供命令行、Web 界面和 MCP 服务器三种使用方★ 128
qwen3-ttsqwen3-tts 是一个纯 C 语言实现的 Qwen3-TTS 文本转语音推理引擎，旨在摆脱 Python 和 PyTorch 的依赖，仅用 C 和 BLAS★ 120
dscdsc 是一个用 C++ 实现的机器学习张量库与推理框架，旨在为深度学习模型提供基础的数据结构和计算能力。它解决的是在资源受限或需要定制化部署环境中，开发者难以★ 119
docker-whisperdocker-whisper 是一个把 Whisper 语音识别服务打包成 Docker 镜像的开源项目，目标是让用户在自己的服务器上快速搭建一套兼容 Open★ 116
torchebmtorchebm 是一个基于 PyTorch 的生成建模库，专注能量基模型（EBM）、扩散模型、流匹配和薛定谔桥等现代生成方法的训练。它解决的核心问题是：传统 ★ 116
llm-scratch-pytorch这是一个从零开始用PyTorch实现大语言模型（LLM）的教学型项目，面向初学者，通过逐步构建GPT-2风格的模型来理解LLM的核心原理。项目解决了“只懂调用A★ 101
LLMinatorLLMinator 是一个基于 Gradio 的对话助手工具，旨在让用户直接从 Hugging Face 运行开源大语言模型。它解决了普通用户配置本地 LLM ★ 99
ajeanajean 是一个用 Go 编写的本地 AI 助手，把模型推理、对话、持久记忆、联网搜索、浏览器控制、MCP 工具调用、静态加密和端到端加密远程访问全部打包进单★ 97
stable-diffusion-k8sstable-diffusion-k8s 是一个将 Stable Diffusion 图像生成模型部署到 Kubernetes 集群的 Helm 图表项目。它解★ 91
pixlstashPixlStash 是一个用于管理混乱图像库的开源工具。它通过自动导入和打标签（captioning）功能，帮助用户整理大量图片。用户可以通过内容或人脸进行搜索★ 90
kernel-skillskernel-skills 是一个面向 AI 编程代理的开源技能库，专注于高性能计算内核的编写、优化与调试，覆盖 CUDA、Triton 以及量化负载场景。它解★ 83
differential-latticedifferential-lattice 是一个基于 CUDA 的生成算法项目，用 Python 编写，旨在通过微分格（differential lattice★ 76
desertdesert 是一个用 Python 编写的随机采样绘图库，主打快速生成艺术图形。它解决的是在数据可视化或创意编程中，如何高效地生成大量随机点并绘制成图案的问题★ 67
trellis2.ctrellis2.c 是一个基于 C 语言实现的开源项目，专注于在本地 GPU 上直接生成带纹理、分割和骨骼绑定的 GLB 格式 3D 资产。它解决了传统 3D★ 67
KsanaDiTKsanaDiT 是一个面向视频与图像生成场景的高性能 Diffusion Transformer（DiT）推理框架，专注于解决 DiT 模型在推理阶段计算量大★ 63
stable-diffusion-nodejsstable-diffusion-nodejs 是一个基于 Node.js 的 Stable Diffusion 运行时，利用修改后的 ONNX Runtime★ 58
dgx-spark-inference-stackdgx-spark-inference-stack 是一个面向 NVIDIA DGX Spark（Grace Blackwell 桌面级 AI 超算）的推理服务★ 52
vllm-chatterbox-streamvllm-chatterbox-stream 是一个基于 vLLM 推理引擎的多语言文本转语音（TTS）服务，兼容 OpenAI API 接口，支持实时 PCM★ 8