edge-ai

本站收录 43 个带「edge-ai」标签的 AI 开源项目

cactuscactus 是一个专为移动设备、可穿戴设备、智能家居和机器人等边缘场景设计的轻量级 AI 推理引擎。它解决了在资源受限的硬件上高效运行深度学习模型的问题,核心★ 14,745yolov3这是一个基于PyTorch实现的YOLOv3目标检测项目,支持YOLOv3、YOLOv3-SPP和YOLOv3-tiny三种模型。它解决了从模型训练到部署的全流★ 10,639LiteRT-LMLiteRT-LM 是 Google 推出的开源大语言模型端侧推理框架,前身为 TensorFlow Lite 相关能力演进而来,目标是让 LLM 在手机、平板★ 6,886OlaresOlares 是一个开源的个人云操作系统,专为常驻智能体(Always-On Agents)设计。它解决了个人在本地或边缘环境部署、运行和管理 AI 智能体时面★ 5,361audio.cppaudio.cpp 是一个基于 ggml 的纯 C++ 音频模型推理引擎,旨在为音频 AI 应用提供一体化、高性能的本地推理解决方案。它解决了传统音频 AI 工★ 4,244FedMLFedML 是一个统一且可扩展的机器学习库,专注于大规模分布式训练、模型服务和联邦学习。它提供跨云调度器 FedML Launch,支持在任意 GPU 云或本地★ 4,069OGAMOGAM 是一款面向手机和 Mac 的离线 AI 全能工具箱,目标是把原本依赖云端 API 的多种 AI 能力全部搬到本地设备上运行。它基于 GGUF 格式的本★ 3,382cosmo-edgecosmo-edge 是一个面向生产环境的 C++ 边缘 AI 推理引擎,专注视频分析与端侧视觉语言模型(VLM)部署。它解决的核心问题是:边缘设备芯片平台碎片★ 2,096Biodiversity这是微软 AI for Good 实验室的生物多样性研究枢纽仓库,集中托管面向生态保护的开源 AI 模型、边缘设备方案与工具链。它解决的核心问题是:野生动物保护★ 1,091libreyoloLibreYOLO 是一个采用 MIT 许可证的开源计算机视觉库,用 Python 编写,目标是为开发者提供自由、可商用的 YOLO 系列目标检测实现。它解决的★ 1,016MasterAgentMasterAgent 是一个用 C++ 编写的端侧 AI 智能体框架,目标是在设备本地完整运行 AI Agent,不依赖云端。它针对高通 NPU 做了深度优化★ 976resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具,核心思路是把求职流程自动化:用户只需提供目标职位的 URL,工具会抓取★ 965jevjev 是一个可在笔记本本地运行的开源二分类决策模型,定位为 Jev 的替代方案,专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 965BigMoeOnEdgeBigMoeOnEdge 是一个让 MoE(混合专家)大模型跑在内存不足设备上的推理方案,核心思路是流式加载专家权重:模型的总参数量可以远超设备 RAM,但每次★ 861sanoTTSsanoTTS 是一个用 C 语言实现、面向极低资源环境的神经网络语音合成(TTS)项目。其名称取自尼泊尔语「小」,模型参数量约 29.4 万到 140 万,可★ 845vuiVui 是一个实时语音助手框架,基于 WebRTC 流式传输,集成了 faster-whisper 语音识别、本地 LLM(如 Qwen)和 Vui Nano ★ 779speech-to-text-benchmarkspeech-to-text-benchmark 是一个开源的语音转文字(STT)评测框架,用统一的测试流程对比不同语音识别引擎的准确率与速度。它解决的核心问题★ 699flutter_edge_aiflutter_edge_ai 是一个面向 Flutter 的端侧 AI 开发框架,目标是把大语言模型和多模态能力直接跑在用户设备上,而不是依赖云端 API。它★ 664AI-in-a-BoxAI-in-a-Box 是微软推出的开源项目,旨在为技术社区提供一套精选的 AI/ML 解决方案加速器。它主要解决工程师在搭建 AI/ML 环境和应用时面临的复★ 601ArkhamMirrorArkhamMirror 是一个本地优先的 AI 文档情报平台,专为调查记者设计。它解决了调查报道中大量文档难以快速检索、关联和提取关键信息的问题。核心能力包括★ 505mct-model-optimizationmct-model-optimization 是索尼开源的模型压缩工具包(Model Compression Toolkit),面向算力、内存和功耗受限的边缘硬★ 451bc250bc250 是一份面向 AMD BC-250(PS5 同款 APU 主板)的开源配置指南与脚本集合,目标是把这块廉价硬件变成可用的本地 AI 推理平台。它解决的★ 431NanoLLMNanoLLM 是一个专注于本地大模型推理优化的开源工具库,提供类似 HuggingFace 的简洁 API,支持模型量化、视觉/语言模型、多模态智能体、语音处★ 381shodh-memoryshodh-memory 是一个为 AI 智能体设计的本地内存系统,以单个离线 Rust 二进制文件运行,完全无需 LLM 和云端 API。它解决的是智能体在长★ 322ai-hardware-engineer-roadmap这是一个面向 AI 硬件工程师的学习路线图开源项目,用 HTML 页面组织内容,目标是把 AI 推理、AI Agent 编排系统和硬件工程三条线串起来,最终能独★ 306OfflineLLMOfflineLLM 是一款面向 Android 的本地化 AI 对话应用,核心思路是把大模型完全跑在手机上,不依赖任何云端服务。它通过 llama.cpp 加★ 291esp32-thinksesp32-thinks 是一个运行在 ESP32-S3 上的个人 AI 语音助手固件方案,目标是让一块低成本开发板变成可随身携带的语音对话终端。它解决的核心问★ 263nightmare-mobilenightmare-mobile 是一个面向 Android 的端侧扩散模型推理应用,用 Kotlin 与 Jetpack Compose 实现,把 Comfy★ 235whistle-esp32whistle-esp32 是一个在 ESP32-S3 单片机上完全离线运行的语音识别演示项目。它把语音转文字模型压缩到微控制器级别,用户按住按钮说出七种语言中★ 233D-FINE-segD-FINE-seg 是基于 D-FINE 检测器扩展而来的目标检测与实例分割一体化框架,覆盖训练、导出、推理全流程。它解决的是在边缘设备上同时做检测和实例分割★ 225LlamatikLlamatik 是一个面向 Kotlin Multiplatform 的端侧 AI 框架,旨在让 Android、iOS、桌面、JVM 和 WASM 平台都能★ 220guardian-dbGuardianDB 是一个基于 Rust 和 Iroh 构建的高性能、本地优先的去中心化数据库。它旨在解决传统中心化数据库在数据主权、隐私和离线可用性方面的不★ 214KrillClawKrillClaw 是一个极简的 AI 智能体运行时,体积仅 49KB,使用 Zig 语言编写,零依赖。它专为资源受限的边缘设备(如 ARM、RISC-V 架构★ 198speech-androidspeech-android 是一个面向 Android 平台的端侧语音 SDK,基于 ONNX Runtime 并利用高通 NNAPI 加速,提供语音识别(A★ 177ram-coffersram-coffers 是一个面向 LLM 推理的基础设施优化项目,通过 NUMA 感知的权重银行(weight banking)技术,在 refurbishe★ 174oidoOído 是一个面向极低资源硬件的开源语音识别引擎,目标是在售价约 5 美元的 ESP32-S3 单片机上实现开放词表语音转文字,完全离线运行,不依赖云端也不依★ 134InferrLMInferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架,基于 TypeScript 构建,旨在让移动应用无需依赖云端即可运行 AI 模★ 115volocalvolocal 是一个面向 iOS 的完全本地化语音 AI 工具,基于 Swift 和 SwiftUI 构建,利用 Core ML 和 llama.cpp 在设★ 103speech-corespeech-core 是一个面向端侧设备的实时语音智能体流水线,用 C++17 编写,基于 ONNX Runtime 和 LiteRT(TensorFlow ★ 101edge-vedaedge-veda 是一个面向 Flutter 的端侧 AI SDK,旨在让移动和桌面应用直接运行多种 AI 模型,无需依赖云端服务。它解决了开发者在 Flut★ 87Seeed_Studio_CoursesSeeed_Studio_Courses 是 Seeed Studio 推出的边缘AI入门课程,基于Nvidia Jetson平台,旨在帮助开发者快速上手边缘A★ 78llmedgellmedge 是一个面向 Android 的原生 AI 推理库,旨在将大语言模型、图像生成、图像识别、视频处理、语音识别(STT)和语音合成(TTS)等能力集★ 73needleneedle 是一个专为微型设备设计的开源基础模型,体积仅 14MB,参数量 2600 万,能在手机、可穿戴设备、智能家居和机器人上以每秒 1-6k token★ 11