让手机和机器人秒级跑起 AI 模型，省电又流畅
cactus 是一个专为移动设备、可穿戴设备、智能家居和机器人等边缘场景设计的轻量级 AI 推理引擎。它解决了在资源受限的硬件上高效运行深度学习模型的问题，核心能力包括模型量化、内核优化、运行时管理和推理加速。项目采用 C++ 实现，提供从模型压缩到端侧部署的全链路支持，尤其擅长处理低功耗、低内存环境下的实时推理任务。通过自定义量化方案和针对 ARM 等架构优化的内核，cactus 能在保持模型精度的同时显著提升推理速度，降低能耗。其设计强调模块化和可移植性，便于开发者集成到各类嵌入式系统中，是边缘 AI 落地的高性能基础组件。
1安装 Cactus CLI
通过 Homebrew 的 tap 直接安装 cactus-compute 提供的 cactus 命令行工具，安装完成后可在终端直接调用。
brew install cactus-compute/cactus/cactus2启动 Cactus
安装完成后执行 cactus run 启动引擎。README 未说明该命令的具体参数，按其默认交互方式使用即可。
cactus run3用 C++ 接入引擎
在 C++ 项目中引入 cactus_engine.h，调用 cactus_init 加载权重目录（可传 txt 目录开启 auto-rag），再用 cactus_complete 传入 JSON 消息与生成参数。
#include "cactus_engine.h"
cactus_model_t model = cactus_init(
"path/to/weight/folder",
"path to txt or dir of txts for auto-rag",
false
);| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
path/to/weight/folder | 是 | cactus_init 第一个参数，指向模型权重所在文件夹 | /your/path/to/weight/folder |
auto-rag 文本路径 | 否 | cactus_init 第二个参数，单个 txt 文件或 txt 目录，用于自动 RAG | /your/path/to/txts |
max_tokens | 否 | 生成选项，限制单次回复的最大 token 数 | 50 |
stop_sequences | 否 | 生成选项，命中列表中任意字符串时停止生成 | ["<|im_end|>"] |
执行 cactus run 后能正常进入引擎交互并返回结果，即表示 CLI 安装与运行成功。
Q：支持 Windows 或 Linux 吗？
A：README 的 Quick Demo 只给出 Mac 的安装方式（brew install + cactus run），其他系统的安装方法未在 README 中说明，请以官网 cactuscompute.com 为准。
Q：模型权重从哪里下载？
A：README 未提供权重下载地址，cactus_init 只要求传入本地的权重文件夹路径，权重获取方式需参考官网或仓库其他文档。
Q：brew install 报找不到 formula 怎么办？
A：该命令使用 tap 形式 cactus-compute/cactus/cactus，需保证本地已安装 Homebrew 且网络可访问 GitHub；可先确认 brew 命令本身可用再重试。
TensorFlow Lite、ONNX Runtime、ncnn
cactus 是基础设施领域的开源项目，由 cactus-compute 开发，2025 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（6,045）位列前 8%，在基础设施分类的 1,130 个项目里位列前 11%。
近 41 天，它的 GitHub 星标从 5,719 增加到 6,045，净增 326。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-22。无在线服务，需自行部署，完全免费。
它主要面向的使用场景是：在智能家居设备上离线运行语音识别或图像分类模型。同类可对比的替代方案包括 TensorFlow Lite、ONNX Runtime、ncnn。
上一篇：helix-db
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···