项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 73
技术标签
核心亮点
- 统一封装多模态推理，文本、图像、语音等 API 一致，上手快
- 基于 llama.cpp，支持 GGUF 量化模型，内存占用低，适合移动端
- 可直接从 Hugging Face 拉取模型，省去手动转换和下载的麻烦
不足之处
- 项目处于早期，星标仅 64，API 稳定性和文档完善度待观察
- 对特定硬件（如 NPU）的适配和性能调优可能不如成熟框架
适用场景
- 在 Android 应用中集成离线聊天机器人或智能助手
- 开发端侧图像识别或 OCR 功能，如文档扫描、物体检测
- 构建语音交互应用，如离线语音命令和语音播报
替代项目
MediaPipe、PyTorch Mobile、ONNX Runtime Mobile
同类项目推荐
traceml
开源
一站式追踪 ML 实验、漂移与可解释性，让模型监控更省心
Engine for AI/ML/Data tracking, visualization, explainability, drift detection, and ···
inferock-bench
开源
本地代理，实时追踪 LLM 调用成本与失败，账单一目了然
Local LLM cost-tracking proxy for OpenAI, Anthropic, Gemini, and pinned OpenRouter c···
nuxt-llms
开源
自动为 Nuxt 站点生成 llms.txt，让 AI 读懂你的网站
Automatically generates /llms.txt markdown documentation for your Nuxt application.
Reticulum
开源
用 LoRa 和无线电搭建打不垮的加密通信网
The cryptography-based networking stack for building unstoppable networks with LoRa,···
llm.report
开源
记录 OpenAI 调用日志，分析成本，优化提示词
llm.report is an open-source logging and analytics platform for OpenAI: Log your Cha···
raft
开源
GPU 加速的检索与机器学习算子库，开箱即用
RAFT contains fundamental widely-used algorithms and primitives for machine learning···
weightslab
开源
让 AI 工程师轻松搞定图像、视频、点云等杂乱数据
Monitoring platform for ML teams building real‑world AI at scale.
dolt
开源
像 Git 管代码一样管数据库，分支合并回滚全搞定
Dolt – Git for Data
dstoolkit-mlops-base
开源
用 Azure 一键搭建模型上线流水线，省去手工部署烦恼
Support ML teams to accelerate their model deployment to production leveraging Azure