llmedge

在 Android 上轻松跑多模态 AI，离线推理一条龙

llmedge 是一个面向 Android 的原生 AI 推理库，旨在将大语言模型、图像生成、图像识别、视频处理、语音识别（STT）和语音合成（TTS）等能力集成到移动端。它基于 Kotlin 开发，底层对接 llama.cpp 和 GGUF 模型格式，支持从 Hugging Face 直接加载模型，让开发者无需深厚 AI 背景即可在 Android 应用中部署端侧 AI。该库解决了移动端运行 AI 模型时面临的性能、内存和集成复杂度问题，提供统一的推理接口，覆盖文本、图像、视频、语音等多模态场景。核心能力包括本地推理、模型量化支持、跨模态任务处理，以及针对边缘设备的优化，使 AI 功能离线可用，降低云端依赖，提升数据隐私和响应速度。