cactus

让手机和机器人秒级跑起 AI 模型，省电又流畅

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署搜索知识 🍴 复刻 1012 🐛 待处理 6 👀 关注 81

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 14529

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，无在线服务，需自行部署，完全免费。

项目预览

项目数据

分类搜索知识

开发团队cactus-compute

官网地址https://cactuscompute.com

GitHubhttps://github.com/cactus-compute/cactus

定价模式🏷️完全免费

价格说明开源项目，无在线服务，需自行部署，完全免费。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型cactus,edge-ai,foundation-model,function-calling,llm,on-device-ai,tinyml,tool-calling

GitHub 星标★ 14529

上线时间2026-02-24 00:00:00

代码更新2026-11-05

仓库体积4.8 MB

本站数据更新2026-11-07

维护状态活跃

收录时间2026-08-09

浏览次数7

项目介绍

cactus 是一个专为移动设备、可穿戴设备、智能家居和机器人等边缘场景设计的轻量级 AI 推理引擎。它解决了在资源受限的硬件上高效运行深度学习模型的问题，核心能力包括模型量化、内核优化、运行时管理和推理加速。项目采用 C++ 实现，提供从模型压缩到端侧部署的全链路支持，尤其擅长处理低功耗、低内存环境下的实时推理任务。通过自定义量化方案和针对 ARM 等架构优化的内核，cactus 能在保持模型精度的同时显著提升推理速度，降低能耗。其设计强调模块化和可移植性，便于开发者集成到各类嵌入式系统中，是边缘 AI 落地的高性能基础组件。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 14529

技术标签

edge-ai foundation-model function-calling llm on-device-ai

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 5 分钟部署方式：命令行工具 3 步

环境要求

macOS 系统（README 的 Quick Demo 仅演示 Mac）
已安装 Homebrew（使用 brew install 命令的前提）
可访问 GitHub / Homebrew 仓库的网络环境
如需自行集成引擎：C++ 编译环境

安装与启动步骤

1安装 Cactus CLI

通过 Homebrew 的 tap 直接安装 cactus-compute 提供的 cactus 命令行工具，安装完成后可在终端直接调用。
```
brew install cactus-compute/cactus/cactus
```
2启动 Cactus

安装完成后执行 cactus run 启动引擎。README 未说明该命令的具体参数，按其默认交互方式使用即可。
```
cactus run
```
3用 C++ 接入引擎

在 C++ 项目中引入 cactus_engine.h，调用 cactus_init 加载权重目录（可传 txt 目录开启 auto-rag），再用 cactus_complete 传入 JSON 消息与生成参数。
```
#include "cactus_engine.h"

cactus_model_t model = cactus_init(
    "path/to/weight/folder",
    "path to txt or dir of txts for auto-rag",
    false
);
```

关键配置

配置项	必填	说明	示例
`path/to/weight/folder`	是	cactus_init 第一个参数，指向模型权重所在文件夹	`/your/path/to/weight/folder`
`auto-rag 文本路径`	否	cactus_init 第二个参数，单个 txt 文件或 txt 目录，用于自动 RAG	`/your/path/to/txts`
`max_tokens`	否	生成选项，限制单次回复的最大 token 数	`50`
`stop_sequences`	否	生成选项，命中列表中任意字符串时停止生成	`["<\|im_end\|>"]`