edge-ai
本站收录 32 个带「edge-ai」标签的 AI 开源项目
needleneedle 是一个专为微型设备设计的开源基础模型，体积仅 14MB，参数量 2600 万，能在手机、可穿戴设备、智能家居和机器人上以每秒 1-6k token★ 12,852
yolov3这是一个基于PyTorch实现的YOLOv3目标检测项目，支持YOLOv3、YOLOv3-SPP和YOLOv3-tiny三种模型。它解决了从模型训练到部署的全流★ 10,612
LiteRT-LMLiteRT-LM 是 Google 推出的开源大语言模型端侧推理框架，前身为 TensorFlow Lite 相关能力演进而来，目标是让 LLM 在手机、平板★ 6,528
cactuscactus 是一个专为移动设备、可穿戴设备、智能家居和机器人等边缘场景设计的轻量级 AI 推理引擎。它解决了在资源受限的硬件上高效运行深度学习模型的问题，核心★ 6,080
OlaresOlares 是一个开源的个人云操作系统，专为常驻智能体（Always-On Agents）设计。它解决了个人在本地或边缘环境部署、运行和管理 AI 智能体时面★ 5,294
FedMLFedML 是一个统一且可扩展的机器学习库，专注于大规模分布式训练、模型服务和联邦学习。它提供跨云调度器 FedML Launch，支持在任意 GPU 云或本地★ 4,067
audio.cppaudio.cpp 是一个基于 ggml 的纯 C++ 音频模型推理引擎，旨在为音频 AI 应用提供一体化、高性能的本地推理解决方案。它解决了传统音频 AI 工★ 3,180
OGAMOGAM 是一款面向手机和 Mac 的离线 AI 全能工具箱，目标是把原本依赖云端 API 的多种 AI 能力全部搬到本地设备上运行。它基于 GGUF 格式的本★ 3,177
MasterAgentMasterAgent 是一个用 C++ 编写的端侧 AI 智能体框架，目标是在设备本地完整运行 AI Agent，不依赖云端。它针对高通 NPU 做了深度优化★ 1,644
cosmo-edgecosmo-edge 是一个面向生产环境的 C++ 边缘 AI 推理引擎，专注视频分析与端侧视觉语言模型（VLM）部署。它解决的核心问题是：边缘设备芯片平台碎片★ 1,235
resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具，核心思路是把求职流程自动化：用户只需提供目标职位的 URL，工具会抓取★ 1,132
jevjev 是一个可在笔记本本地运行的开源二分类决策模型，定位为 Jev 的替代方案，专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 1,132
Biodiversity这是微软 AI for Good 实验室的生物多样性研究枢纽仓库，集中托管面向生态保护的开源 AI 模型、边缘设备方案与工具链。它解决的核心问题是：野生动物保护★ 1,076
libreyoloLibreYOLO 是一个采用 MIT 许可证的开源计算机视觉库，用 Python 编写，目标是为开发者提供自由、可商用的 YOLO 系列目标检测实现。它解决的★ 815
vuiVui 是一个实时语音助手框架，基于 WebRTC 流式传输，集成了 faster-whisper 语音识别、本地 LLM（如 Qwen）和 Vui Nano ★ 769
AI-in-a-BoxAI-in-a-Box 是微软推出的开源项目，旨在为技术社区提供一套精选的 AI/ML 解决方案加速器。它主要解决工程师在搭建 AI/ML 环境和应用时面临的复★ 597
BigMoeOnEdgeBigMoeOnEdge 是一个让 MoE（混合专家）大模型跑在内存不足设备上的推理方案，核心思路是流式加载专家权重：模型的总参数量可以远超设备 RAM，但每次★ 595
ArkhamMirrorArkhamMirror 是一个本地优先的 AI 文档情报平台，专为调查记者设计。它解决了调查报道中大量文档难以快速检索、关联和提取关键信息的问题。核心能力包括★ 493
NanoLLMNanoLLM 是一个专注于本地大模型推理优化的开源工具库，提供类似 HuggingFace 的简洁 API，支持模型量化、视觉/语言模型、多模态智能体、语音处★ 381
shodh-memoryshodh-memory 是一个为 AI 智能体设计的本地内存系统，以单个离线 Rust 二进制文件运行，完全无需 LLM 和云端 API。它解决的是智能体在长★ 293
D-FINE-segD-FINE-seg 是基于 D-FINE 检测器扩展而来的目标检测与实例分割一体化框架，覆盖训练、导出、推理全流程。它解决的是在边缘设备上同时做检测和实例分割★ 212
guardian-dbGuardianDB 是一个基于 Rust 和 Iroh 构建的高性能、本地优先的去中心化数据库。它旨在解决传统中心化数据库在数据主权、隐私和离线可用性方面的不★ 210
LlamatikLlamatik 是一个面向 Kotlin Multiplatform 的端侧 AI 框架，旨在让 Android、iOS、桌面、JVM 和 WASM 平台都能★ 199
KrillClawKrillClaw 是一个极简的 AI 智能体运行时，体积仅 49KB，使用 Zig 语言编写，零依赖。它专为资源受限的边缘设备（如 ARM、RISC-V 架构★ 194
ram-coffersram-coffers 是一个面向 LLM 推理的基础设施优化项目，通过 NUMA 感知的权重银行（weight banking）技术，在 refurbishe★ 170
speech-androidspeech-android 是一个面向 Android 平台的端侧语音 SDK，基于 ONNX Runtime 并利用高通 NNAPI 加速，提供语音识别（A★ 163
InferrLMInferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架，基于 TypeScript 构建，旨在让移动应用无需依赖云端即可运行 AI 模★ 112
volocalvolocal 是一个面向 iOS 的完全本地化语音 AI 工具，基于 Swift 和 SwiftUI 构建，利用 Core ML 和 llama.cpp 在设★ 99
speech-corespeech-core 是一个面向端侧设备的实时语音智能体流水线，用 C++17 编写，基于 ONNX Runtime 和 LiteRT（TensorFlow ★ 90
edge-vedaedge-veda 是一个面向 Flutter 的端侧 AI SDK，旨在让移动和桌面应用直接运行多种 AI 模型，无需依赖云端服务。它解决了开发者在 Flut★ 88
Seeed_Studio_CoursesSeeed_Studio_Courses 是 Seeed Studio 推出的边缘AI入门课程，基于Nvidia Jetson平台，旨在帮助开发者快速上手边缘A★ 77
llmedgellmedge 是一个面向 Android 的原生 AI 推理库，旨在将大语言模型、图像生成、图像识别、视频处理、语音识别（STT）和语音合成（TTS）等能力集★ 67