npu
本站收录 10 个带「npu」标签的 AI 开源项目
lemonadeLemonade 是一个面向本地 AI 应用的开源推理引擎，旨在让用户直接在自己的 GPU 和 NPU 上运行优化后的大语言模型。它解决了云端 AI 带来的隐私★ 6,209
cube-studiocube-studio 是一个基于云原生的开源 AI 平台，旨在统一管理机器学习、深度学习及大模型的完整生命周期。它解决企业在算法开发、训练、部署和运维中的碎片★ 2,609
FastFlowLMFastFlowLM 是一个专为 AMD Ryzen AI NPU 深度优化的开源推理引擎，目标是在 AMD 平台上实现大语言模型的高效本地运行。它借鉴了 Ol★ 2,044
ai-dev-galleryai-dev-gallery 是一个面向 Windows 开发者的开源示例项目集合，旨在帮助开发者学习如何将本地 AI 模型和云端 API 集成到 Window★ 1,518
GPTQModelGPTQModel 是一个面向大语言模型的量化压缩工具包，核心目标是把 FP16/BF16 模型压缩到 4bit、3bit 等低精度格式，从而显著降低显存占用和★ 1,290
MasterAgentMasterAgent 是一个用 C++ 编写的端侧 AI 智能体框架，目标是在设备本地完整运行 AI Agent，不依赖云端。它针对高通 NPU 做了深度优化★ 976
rkllamarkllama 是面向瑞芯微（Rockchip）NPU 的开源大模型推理服务，相当于把 Ollama 的体验搬到 RK3588、Orange Pi 5/5 Pr★ 627
ax-samplesax-samples 是爱芯元智（AXERA）为其 AI SoC 提供的计算机视觉示例代码集合，用 CMake 组织，面向在嵌入式 NPU 上跑推理的开发者。项★ 304
nightmare-mobilenightmare-mobile 是一个面向 Android 的端侧扩散模型推理应用，用 Kotlin 与 Jetpack Compose 实现，把 Comfy★ 231
ZETIC_Melange_appsZETIC_Melange_apps 是一个基于 Melange 框架的 NPU 驱动的端侧 AI 移动应用示例集合。它解决了在移动设备上高效运行 AI 模型时★ 69