gpu 第 1 页
本站收录 91 个带「gpu」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)
DeepSpeedDeepSpeed 是微软开源的大模型训练与推理优化库,目标是让分布式训练和推理变得简单、高效。它通过 ZeRO 系列显存优化技术,把优化器状态、梯度和参数分片★ 43,326
deeplearning4jDeepLearning4J(DL4J)是面向 JVM 生态的深度学习工具套件,让 Java、Scala、Clojure、Kotlin 开发者无需切换 Pyth★ 14,279
serverTriton Inference Server 是 NVIDIA 开源的推理服务框架,面向云端与边缘部署,目标是把训练好的深度学习模型统一发布成可被业务调用的推★ 11,143
skypilot面向前沿 AI 团队的计算平台,将分散在不同云厂商的 GPU 算力整合成一台“AI 超级计算机”。它支持在多云环境下统一调度资源、自动选型最优实例并显著节省成本★ 10,838
ipex-llmipex-llm 是英特尔推出的开源工具库,旨在加速本地大语言模型(LLM)的推理和微调。它支持在 Intel XPU(包括集成显卡、独立显卡如 Arc/Fle★ 8,842
flashinferFlashInfer 是一个面向大语言模型推理服务的高性能 GPU 内核库,用 CUDA 和 PyTorch 实现,专注解决 LLM 部署中注意力计算、MoE ★ 6,928
lemonadeLemonade 是一个面向本地 AI 应用的开源推理引擎,旨在让用户直接在自己的 GPU 和 NPU 上运行优化后的大语言模型。它解决了云端 AI 带来的隐私★ 6,215
llm-dllm-d 是一个专注于在 Kubernetes 上实现现代加速器(如 GPU)上最先进推理性能的开源项目。它解决了在云原生环境中部署大型语言模型时面临的性能瓶★ 5,263
serveServe 是一个用于在生产环境中部署、优化和扩展 PyTorch 模型的开源基础设施项目。它解决了将训练好的 PyTorch 模型高效、稳定地服务化的问题,提★ 4,344
deepflowDeepFlow 是一个基于 eBPF 的分布式追踪与性能剖析平台,旨在解决云原生环境下应用可观测性不足的问题。它利用 eBPF 技术自动采集应用、网络和系统层★ 4,325
TransformerEngineTransformerEngine 是 NVIDIA 推出的开源加速库,面向 Transformer 类模型在 NVIDIA GPU 上的训练与推理。它把低精度★ 3,605
StringZillaStringZilla 是一个跨语言的高性能字符串处理库,专为加速字符串搜索、哈希、排序、编辑距离计算、相似度草图和内存操作而设计。它利用现代 CPU 的 SI★ 3,592
openlakeOpenLake 是一个用 Rust 编写的高性能存储引擎,专为大型语言模型(LLM)推理和 GPU 训练而设计。它解决的是传统数据存储系统在 AI 工作负载下★ 3,094
chituchitu 是一个面向大语言模型的高性能推理框架,专注于效率、灵活性和可用性。它旨在解决 LLM 推理过程中的性能瓶颈和部署复杂性问题,通过优化的内核和调度策略★ 3,000
CV-CUDACV-CUDA 是字节跳动与英伟达联合开源、面向云规模图像处理与计算机视觉的 GPU 加速库。它针对传统 OpenCV 在 CPU 上处理高并发视频流时吞吐不足★ 2,737
paipai 是一个面向 AI 场景的资源调度与集群管理平台,主要解决 GPU 等异构计算资源在深度学习训练和推理任务中的分配效率问题。它支持多种 AI 框架(如 C★ 2,696
deepdetectdeepdetect 是一个开源的深度学习服务器和命令行工具,最初由 Jolibrain 开发,旨在简化深度学习模型的部署和服务化。它支持多种深度学习框架,包括★ 2,550
lupineLUPINE 是一个 GPU over IP 桥接工具,允许将远程机器上的 GPU 通过 IP 网络挂载到仅配备 CPU 的本地机器上,实现 GPU 资源的远程★ 2,472
dstackdstack 是一个厂商中立的编排平台,专为 AI 训练、推理和智能体工作负载设计。它解决了 AI 团队在混合基础设施(云、Kubernetes、裸金属)上运行★ 2,310
trainertrainer 是一个基于 Kubernetes 的分布式 AI 模型训练与 LLM 微调平台,由开源社区维护。它解决了在 Kubernetes 上运行大规模训★ 2,284
node-llama-cppnode-llama-cpp 是一个将 llama.cpp 绑定到 Node.js 的库,让你能在本地机器上直接运行 AI 模型(如 Llama、Mistral★ 2,205
InferenceXInferenceX 是一个开源的持续推理基准研究平台,专注在大规模 LLM 推理场景下做可复现、可持续的性能评测。它把当下主流大模型(如 Kimi、MiniM★ 2,039
beta9beta9 是一个面向 AI 推理和计算场景的超快无服务器 GPU 平台,用 Go 语言实现。它解决了传统 GPU 部署中资源利用率低、冷启动慢、环境隔离复杂等★ 1,852
gpu-hotgpu-hot 是一个基于 JavaScript 开发的实时 NVIDIA GPU 监控仪表盘,以网页形式直观展示 GPU 的实时状态。它解决的是开发者和运维人★ 1,646
ucclUCCL 是一个面向 GPU 的高效通信库,专注于解决大规模 AI 训练和推理中的数据传输瓶颈。它覆盖了集合通信(如 AllReduce、AllGather)、★ 1,586
tty7tty7 是一个用纯 Rust 构建的终端工作台,旨在将传统终端模拟器与现代 AI 编码代理能力整合到一个 GPU 加速的界面中。它基于 Alacritty 的★ 1,501
gpu_poorgpu_poor 是一个用于估算任意大语言模型(LLM)在本地部署时所需 GPU 显存和推理速度(token/s)的命令行工具。它通过解析模型的参数量、量化方式★ 1,405
modal-examplesmodal-examples 是 Modal 官方维护的示例库,集中展示了如何在 Modal 无服务器云平台上构建和运行各类 AI 与机器学习程序。它解决了开发★ 1,294
auto-deep-researcher-24x7这是一个自主运行深度学习实验的AI智能体,能在你睡觉时24/7不间断地执行实验任务。它解决的是研究人员需要长时间盯守实验、手动调参和监控的痛点。核心能力包括:基★ 1,142
raftRAFT 是 NVIDIA 开源的 CUDA 加速算法与基础原语库,面向机器学习和信息检索场景。它把常用但实现复杂的底层算子(如距离计算、聚类、线性代数、最近邻★ 1,054
mosecmosec 是一个高性能的机器学习模型服务框架,专注于解决模型部署中的吞吐量和资源利用率问题。它通过动态批处理(dynamic batching)和 CPU/G★ 904
cuvscuVS 是 NVIDIA 开源的 GPU 向量搜索与聚类库,属于 RAPIDS 生态的基础设施组件。它把近似最近邻搜索(ANN)、距离计算、邻居图构建和聚类等★ 897
SOMA-XSOMA-X是一个统一参数化人体模型的Python开源库,旨在解决现有3D人体模型(如SMPL、SMPL-X、MANO等)格式不统一、难以互操作的问题。它提供了★ 888
LoongForgeLoongForge 是一个面向大模型训练的统一高性能框架,支持在 NVIDIA GPU 和昆仑芯 XPU 上训练 LLM、VLM、扩散模型及具身智能模型。它解★ 847
shell-rsshell-rs 是一个用 Rust 编写的原生 SSH 客户端,基于 GPUI 框架做 GPU 渲染,目标是替代传统终端里拼命令的 SSH 工作流。它把主机管★ 844
Deep-learning-in-cloud这是一个整理深度学习云服务提供商的精选列表,旨在帮助开发者和企业快速找到适合的云端AI训练与推理平台。项目以清单形式汇总了各大主流云厂商(如AWS、Google★ 827
caercaer 是一个面向计算机视觉研究的高性能 Python 库,旨在减少样板代码,让研究者专注于核心算法。它整合了图像处理、数据增强、模型训练与评估等常用功能,提★ 823
can-i-finetune-this这是一个帮助开发者快速判断 Hugging Face 上的模型能否在本地 GPU 上进行微调的工具。它通过分析模型的参数量、架构和精度,结合用户 GPU 的显存★ 796
pegainferpegainfer 是一个用纯 Rust 编写的 LLM 推理引擎,底层直接调用 CUDA 内核,不依赖 PyTorch 或任何 Python 运行时。它解决的★ 742
devitoDevito 是一个基于 Python 的领域特定语言(DSL)与编译器框架,专门用于自动生成有限差分和模板(stencil)计算的高性能代码。它解决的核心问题★ 719
examplesCerebrium 是一个无服务器 GPU 平台,这个名为 examples 的仓库是它的官方示例集合,包含多种机器学习工作负载的部署代码,如 Stable D★ 526
kinetographkinetograph 是一个用 TypeScript 编写的程序化视频引擎,定位是让 AI 代理(agent)能够以极快速度生成视频。它把视频合成从传统时间线★ 523
plotoptixplotoptix 是一个基于 NVIDIA OptiX 9.1 框架的 Python 数据可视化和光线追踪库。它旨在将高性能的光线追踪渲染能力引入 Pytho★ 519
JetStreamJetStream 是一个面向 XLA 设备(当前以 TPU 为主,未来计划支持 GPU)的 LLM 推理引擎,专注于提升吞吐量和优化内存使用。它解决了在 TP★ 474
rag-chatbotrag-chatbot 是一个基于检索增强生成(RAG)的对话助手,专门从 Markdown 文件集合中提取上下文信息来回答用户问题。它解决了传统 LLM 依赖★ 443
rust-mlops-templaterust-mlops-template 是一个正在开发中的开源项目,旨在使用 Rust 语言构建机器学习运维(MLOps)解决方案的模板。它针对当前 MLOps★ 388
production-ai-agents-for-media-generation这是一个免费课程型开源项目,面向想搭建生产级 AI 媒体生成代理的开发者。它围绕图像、视频、音频三类生成任务,讲解如何在无服务器 GPU 上构建可上线的 AI ★ 350
ContainariumContainarium 是一个开源的智能体运行时,专注于为 AI 代理提供安全、隔离的执行环境。它通过 SSH 原生隔离、eBPF 出口策略、Kubernet★ 318
clearml-agentClearML Agent 是 ClearML 平台的核心调度与编排组件,负责执行远程任务、管理队列并调度 GPU 等计算资源。它解决了 MLOps/LLMOp★ 316