lite.ai.toolkit

一行代码调用 100+ 模型,C++ 部署 AI 不再难

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 783 🐛 待处理 1 👀 关注 66
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 4451
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,GPL-3.0许可证,完全免费,可自行部署使用。

项目预览

lite.ai.toolkit 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队xlite-dev
定价模式🏷️完全免费
价格说明开源项目,GPL-3.0许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议GPL-3.0
主要语言C++
技术栈/模型facefusion,mnn,mnn-model,ncnn,onnx,onnxruntime,robustvideomatting,stable-diffusion,tensorrt,tnn,yolov5,yolov6,yolov8,yolox
GitHub 星标★ 4451
上线时间2021-03-22 00:00:00
代码更新2026-11-18
仓库体积458.5 MB
本站数据更新2026-11-18
维护状态活跃
收录时间2026-08-09
浏览次数5

项目介绍

lite.ai.toolkit 是一个轻量级的 C++ AI 推理工具包,集成了 100 多个预训练模型,支持 MNN、ONNX Runtime 和 TensorRT 等多种推理后端。它主要解决 C++ 开发者快速集成 AI 能力的问题,覆盖目标检测(YOLOv5/v6/v8)、图像分割、Stable Diffusion 文生图、人脸融合(FaceFusion)和视频抠像(RobustVideoMatting)等任务。核心能力包括:统一简洁的 API 接口,屏蔽底层推理引擎差异;模型仓库预置丰富,开箱即用;支持跨平台部署,兼顾移动端和服务器端。项目采用模块化设计,便于扩展新模型,适合需要高性能、低延迟 AI 推理的 C++ 项目。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4451

使用教程

难度:进阶 约 20 分钟 部署方式:库/依赖 6 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • CMake 3.10 及以上(README 的 CMakeLists 中声明 cmake_minimum_required(VERSION 3.10))
  • 支持 C++17 的编译器(CMakeLists 中设置 CMAKE_CXX_STANDARD 17)
  • 已编译安装好的 lite.ai.toolkit 安装包(安装包内含完整的 MNN 与 ONNXRuntime)
  • 模型文件与测试图片,例如 yolov5s.onnx 与 test_yolov.jpg

安装与启动步骤

  1. 1克隆项目源码

    把仓库克隆到本地,后续示例代码参考 examples 目录下的 test_*.cpp 文件。

    git clone https://github.com/xlite-dev/lite.ai.toolkit.git
  2. 2准备安装路径

    找到(或先编译安装)lite.ai.toolkit 的安装目录,它就是后面 CMakeLists 里的 YOUR-PATH-TO-LITE-INSTALL。

  3. 3配置 CMakeLists

    新建工程,用 find_package 引入 lite.ai.toolkit,并把示例源码加入可执行文件;把路径换成你的实际安装目录。

    cmake_minimum_required(VERSION 3.10)
    project(lite_yolov5)
    set(CMAKE_CXX_STANDARD 17)
    
    set(lite.ai.toolkit_DIR YOUR-PATH-TO-LITE-INSTALL)
    find_package(lite.ai.toolkit REQUIRED PATHS ${lite.ai.toolkit_DIR})
    if (lite.ai.toolkit_Found)
        message(STATUS "lite.ai.toolkit_INCLUDE_DIRS: ${lite.ai.toolkit_INCLUDE_DIRS}")
        message(STATUS "        lite.ai.toolkit_LIBS: ${lite.ai.toolkit_LIBS}")
        message(STATUS "   lite.ai.toolkit_LIBS_DIRS: ${lite.ai.toolkit_LIBS_DIRS}")
    endif()
    add_executable(lite_yolov5 test_lite_yolov5.cpp)
    target_link_libraries(lite_yolov5 ${lite.ai.toolkit_LIBS})
  4. 4编译可执行文件

    用 CMake 配置并构建该工程;README 未给出具体构建命令,请按本机工具链执行标准 CMake 流程。

    cmake -S . -B build
    cmake --build build
  5. 5拷贝模型与图片

    README 示例要求把 yolov5s.onnx 和 test_yolov.jpg 复制到程序运行目录,否则会找不到输入文件。

    cp ../yolov5s.onnx ../test_yolov.jpg .
  6. 6运行并查看输出

    执行示例程序,终端会打印模型输入输出维度以及检测框数量等调试信息。

    ./lite_yolov5

关键配置

配置项必填说明示例
lite.ai.toolkit_DIR是指向 lite.ai.toolkit 安装目录,供 find_package 定位库/your/path/to/lite.ai.toolkit/install
ENABLE_ONNXRUNTIME否是否启用 ONNXRuntime 后端,README 说明默认为 ON-DENABLE_ONNXRUNTIME=ON
ENABLE_MNN否是否启用 MNN 后端,README 说明默认为 OFF-DENABLE_MNN=ON

如何确认成功

运行 ./lite_yolov5 后终端输出 Input-Dims / Output-Dims 以及 detected num_anchors: 25200、generate_bboxes num 等日志,即表示运行成功。

常见问题

Q:find_package 找不到 lite.ai.toolkit 怎么办?

A:把 CMakeLists 中的 lite.ai.toolkit_DIR 改成你实际的安装目录,或确认该目录下确实存在 lite.ai.toolkit 的 CMake 配置文件。

Q:想用 MNN 后端怎么开?

A:在 CMake 配置时加 -DENABLE_MNN=ON,该项默认 OFF;ONNXRuntime 由 -DENABLE_ONNXRUNTIME 控制且默认 ON。

Q:能同时使用 lite.ai.toolkit 和原生 MNN/ONNXRuntime 吗?

A:可以。README 说明工具包不封装 MNN 与 ONNXRuntime,可混用,相关头文件见 mnn_config.h 和 ort_config.h。

Q:运行时提示找不到模型文件?

A:示例以相对路径读取 yolov5s.onnx 和 test_yolov.jpg,需先把这两个文件复制到可执行文件所在目录再运行。

Q:怎么选择模型和任务?

A:参考 Model Zoo 表格与 examples/lite/cv 下的 test_*.cpp,不同类型(检测、分割、抠像等)对应不同示例和模型。

注意事项

  • README 节选只给出了如何在自己的 CMake 工程中使用已安装的 lite.ai.toolkit,未给出从源码编译安装工具包的完整命令,详细步骤需看仓库内文档。
  • README 明确 lite.ai.toolkit 的安装包已包含完整的 MNN 与 ONNXRuntime,一般无需另行安装推理引擎。
  • ONNXRuntime 默认开启、MNN 默认关闭,跨平台支持情况请对照 Supported Models Matrix。

核心亮点

  • 预置 100+ 模型,覆盖检测、分割、生成等主流任务,省去模型转换和适配时间
  • 统一 API 封装 MNN/ORT/TRT,切换推理后端只需改配置,代码零改动
  • 纯 C++ 实现,无 Python 依赖,适合嵌入式和服务端高性能场景

不足之处

  • 文档偏少,部分模型示例不完整,上手依赖源码阅读
  • 模型更新滞后,新模型需自行转换和集成

适用场景

  • 在 C++ 服务端快速部署 YOLO 目标检测,实现视频流实时分析
  • 在移动端或边缘设备集成 Stable Diffusion 或人脸融合功能
  • 作为 AI 算法原型到 C++ 生产环境的桥梁,快速验证模型效果

替代项目

ncnn、OpenCV DNN、TNN

上一篇:ExprGAN

下一篇:sd-webui-segment-anything

同类项目推荐

GutenOCR 开源

用 VLM 做 OCR 的训练评测一条龙工具

Open-source tools for training and evaluating Vision Language Models for OCR

★ 193 2026-09-19
4KAgent 开源

上传任意糊图,自动恢复成 4K 高清大片

[NeurIPS 2025] 4KAgent: Agentic Any Image to 4K Super-Resolution. An intelligent com···

★ 842 2026-08-09
torchgeo 开源

像用torchvision一样做遥感深度学习

TorchGeo: datasets, samplers, transforms, and pre-trained models for geospatial data

★ 4244 2026-09-21
Trainable_Segmentation 开源

画几笔标注,训练分类器,自动分割整幅图像

Fiji library to perform image segmentation based on the Weka learning schemes

★ 127 2026-10-29
ComfyUI-Depth-Anything-Tensorrt 开源

ComfyUI 里跑深度图,TensorRT 加速最高 14 倍,快人一步。

ComfyUI Depth Anything (v1/v2/v3/distill-any-depth) Tensorrt Custom Node (up to 14x ···

★ 136 2026-08-09
hub 开源

让旧摄像头变聪明,边缘实时识别安全隐患

Securade.ai HUB - A generative AI based edge platform for computer vision that conne···

★ 297 2026-10-26
FernRPExample 开源

在Unity里用Stable Diffusion生成贴图,直接驱动NPR/PBR渲染

This project is the implementation of FernRP Package, Include NPR/PBR.

★ 935 2026-08-09