lite.ai.toolkit

一行代码调用 100+ 模型,C++ 部署 AI 不再难

lite.ai.toolkit 是一个轻量级的 C++ AI 推理工具包,集成了 100 多个预训练模型,支持 MNN、ONNX Runtime 和 TensorRT 等多种推理后端。它主要解决 C++ 开发者快速集成 AI 能力的问题,覆盖目标检测(YOLOv5/v6/v8)、图像分割、Stable Diffusion 文生图、人脸融合(FaceFusion)和视频抠像(RobustVideoMatting)等任务。核心能力包括:统一简洁的 API 接口,屏蔽底层推理引擎差异;模型仓库预置丰富,开箱即用;支持跨平台部署,兼顾移动端和服务器端。项目采用模块化设计,便于扩展新模型,适合需要高性能、低延迟 AI 推理的 C++ 项目。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 4439
维护状态 较活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类图像生成
开发团队xlite-dev
所属国家
定价模式free
价格说明开源项目,GPL-3.0许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议GPL-3.0
主要语言C++
技术栈/模型facefusion,mnn,mnn-model,ncnn,onnx,onnxruntime,robustvideomatting,stable-diffusion,tensorrt,tnn,yolov5,yolov6,yolov8,yolox
GitHub 星标★ 4439
30天Star增速
HF 下载量
上线时间2021-03-22 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:进阶 约 20 分钟 部署方式:库/依赖 6 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • CMake 3.10 及以上(README 的 CMakeLists 中声明 cmake_minimum_required(VERSION 3.10))
  • 支持 C++17 的编译器(CMakeLists 中设置 CMAKE_CXX_STANDARD 17)
  • 已编译安装好的 lite.ai.toolkit 安装包(安装包内含完整的 MNN 与 ONNXRuntime)
  • 模型文件与测试图片,例如 yolov5s.onnx 与 test_yolov.jpg

安装与启动步骤

  1. 1克隆项目源码

    把仓库克隆到本地,后续示例代码参考 examples 目录下的 test_*.cpp 文件。

    git clone https://github.com/xlite-dev/lite.ai.toolkit.git
  2. 2准备安装路径

    找到(或先编译安装)lite.ai.toolkit 的安装目录,它就是后面 CMakeLists 里的 YOUR-PATH-TO-LITE-INSTALL。

  3. 3配置 CMakeLists

    新建工程,用 find_package 引入 lite.ai.toolkit,并把示例源码加入可执行文件;把路径换成你的实际安装目录。

    cmake_minimum_required(VERSION 3.10)
    project(lite_yolov5)
    set(CMAKE_CXX_STANDARD 17)
    
    set(lite.ai.toolkit_DIR YOUR-PATH-TO-LITE-INSTALL)
    find_package(lite.ai.toolkit REQUIRED PATHS ${lite.ai.toolkit_DIR})
    if (lite.ai.toolkit_Found)
        message(STATUS "lite.ai.toolkit_INCLUDE_DIRS: ${lite.ai.toolkit_INCLUDE_DIRS}")
        message(STATUS "        lite.ai.toolkit_LIBS: ${lite.ai.toolkit_LIBS}")
        message(STATUS "   lite.ai.toolkit_LIBS_DIRS: ${lite.ai.toolkit_LIBS_DIRS}")
    endif()
    add_executable(lite_yolov5 test_lite_yolov5.cpp)
    target_link_libraries(lite_yolov5 ${lite.ai.toolkit_LIBS})
  4. 4编译可执行文件

    用 CMake 配置并构建该工程;README 未给出具体构建命令,请按本机工具链执行标准 CMake 流程。

    cmake -S . -B build
    cmake --build build
  5. 5拷贝模型与图片

    README 示例要求把 yolov5s.onnx 和 test_yolov.jpg 复制到程序运行目录,否则会找不到输入文件。

    cp ../yolov5s.onnx ../test_yolov.jpg .
  6. 6运行并查看输出

    执行示例程序,终端会打印模型输入输出维度以及检测框数量等调试信息。

    ./lite_yolov5

关键配置

配置项必填说明示例
lite.ai.toolkit_DIR是指向 lite.ai.toolkit 安装目录,供 find_package 定位库/your/path/to/lite.ai.toolkit/install
ENABLE_ONNXRUNTIME否是否启用 ONNXRuntime 后端,README 说明默认为 ON-DENABLE_ONNXRUNTIME=ON
ENABLE_MNN否是否启用 MNN 后端,README 说明默认为 OFF-DENABLE_MNN=ON

如何确认成功

运行 ./lite_yolov5 后终端输出 Input-Dims / Output-Dims 以及 detected num_anchors: 25200、generate_bboxes num 等日志,即表示运行成功。

常见问题

Q:find_package 找不到 lite.ai.toolkit 怎么办?

A:把 CMakeLists 中的 lite.ai.toolkit_DIR 改成你实际的安装目录,或确认该目录下确实存在 lite.ai.toolkit 的 CMake 配置文件。

Q:想用 MNN 后端怎么开?

A:在 CMake 配置时加 -DENABLE_MNN=ON,该项默认 OFF;ONNXRuntime 由 -DENABLE_ONNXRUNTIME 控制且默认 ON。

Q:能同时使用 lite.ai.toolkit 和原生 MNN/ONNXRuntime 吗?

A:可以。README 说明工具包不封装 MNN 与 ONNXRuntime,可混用,相关头文件见 mnn_config.h 和 ort_config.h。

Q:运行时提示找不到模型文件?

A:示例以相对路径读取 yolov5s.onnx 和 test_yolov.jpg,需先把这两个文件复制到可执行文件所在目录再运行。

Q:怎么选择模型和任务?

A:参考 Model Zoo 表格与 examples/lite/cv 下的 test_*.cpp,不同类型(检测、分割、抠像等)对应不同示例和模型。

注意事项

  • README 节选只给出了如何在自己的 CMake 工程中使用已安装的 lite.ai.toolkit,未给出从源码编译安装工具包的完整命令,详细步骤需看仓库内文档。
  • README 明确 lite.ai.toolkit 的安装包已包含完整的 MNN 与 ONNXRuntime,一般无需另行安装推理引擎。
  • ONNXRuntime 默认开启、MNN 默认关闭,跨平台支持情况请对照 Supported Models Matrix。

核心亮点

  • 预置 100+ 模型,覆盖检测、分割、生成等主流任务,省去模型转换和适配时间
  • 统一 API 封装 MNN/ORT/TRT,切换推理后端只需改配置,代码零改动
  • 纯 C++ 实现,无 Python 依赖,适合嵌入式和服务端高性能场景

不足之处

  • 文档偏少,部分模型示例不完整,上手依赖源码阅读
  • 模型更新滞后,新模型需自行转换和集成

适用场景

  • 在 C++ 服务端快速部署 YOLO 目标检测,实现视频流实时分析
  • 在移动端或边缘设备集成 Stable Diffusion 或人脸融合功能
  • 作为 AI 算法原型到 C++ 生产环境的桥梁,快速验证模型效果

替代项目

ncnn、OpenCV DNN、TNN

项目介绍

lite.ai.toolkit 是计算机视觉领域的开源项目,由 xlite-dev 开发,2021 年首次发布。

在全站 13,635 个收录项目中,它的 GitHub 星标数(4,439)位列前 10%,在计算机视觉分类的 486 个项目里位列前 9%。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-05。GPL-3.0许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:在C++服务端快速部署YOLO目标检测,实现视频流实时分析。同类可对比的替代方案包括 ncnn、OpenCV DNN、TNN。

上一篇:ExprGAN

下一篇:sd-webui-segment-anything

同类项目推荐

modlens 开源

给纯文本编码代理装上眼睛,粘贴图片即刻获得结构化视觉证据。

The first vision plugin for DeepSeek Harness, and the vision bridge for every text-o···

★ 4115 2026-08-19
opencv 开源

开箱即用的视觉算法库,搞定图像视频处理与识别

Open Source Computer Vision Library

★ 91058 2026-08-10
OpenCVTutorials 开源

中文 OpenCV 教程,从入门到实战,边看边跑代码

OpenCV-Python4.1 中文文档

★ 1433 2026-08-20
DEIMv2 开源

用DINOv3做实时检测,又快又准,直接落地。

[DEIMv2] Real Time Object Detection Meets DINOv3

★ 2049 2026-08-14