aici

把提示词变成程序，动态控制AI生成过程。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 86 🐛 待处理 41 👀 关注 21

GitHub ↗

GitHub 星标 ★ 2074

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT 许可证，完全免费，需自行部署使用。

项目预览

项目数据

分类开源模型

开发团队microsoft

GitHubhttps://github.com/microsoft/aici

定价模式🏷️完全免费

价格说明开源项目，MIT 许可证，完全免费，需自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Rust

技术栈/模型ai,inference,language-model,llm,llm-framework,llm-inference,llm-serving,llmops,model-serving,rust,transformer,wasm,wasmtime

GitHub 星标★ 2074

上线时间2023-09-26 00:00:00

代码更新2025-01-22

仓库体积9.9 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数3

项目介绍

AICI（Artificial Intelligence Controller Interface）是一个开源框架，它提出了一种全新的与大语言模型交互的方式：将提示词（Prompts）视为可编程的Wasm（WebAssembly）程序。它解决了传统LLM推理中提示词固定、难以动态控制的问题，允许开发者通过编写Wasm模块来实时控制模型的生成过程，包括修改token生成、实现复杂的控制流、注入自定义逻辑等。其核心能力在于提供了一个轻量、安全、高性能的沙箱环境，使得提示词不再是静态文本，而是可执行的程序，从而极大地扩展了LLM应用的灵活性和可定制性。该项目基于Rust开发，性能优异，适合构建需要精细控制生成逻辑的复杂AI应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2074

技术标签

ai inference language-model llm llm-framework

使用教程

难度：进阶约 30 分钟部署方式：本地安装 5 步

环境要求

Rust 开发环境（用于编译 AICI 各组件）
Python 3.11 或更高版本（用于编写 Controller）
使用 rllm-cuda 后端时需 NVidia GPU 且计算能力 8.0 及以上（A100、RTX 30 系及更新）
能访问 HuggingFace 下载 .gguf 模型文件，或本地已有 .gguf 文件

安装与启动步骤

1准备开发环境

按 Rust 官方方式装好 Rust 工具链，并确保本机 Python 版本不低于 3.11，两者都是后续编译与编写 Controller 的前提。
2克隆仓库

把 AICI 源码拉取到本地，后续所有构建命令都在仓库目录内执行。
```
git clone https://github.com/microsoft/aici
```
3进入后端目录

进入 llama.cpp 后端目录；若改用 CUDA 后端，则换成 rllm-cuda 文件夹，步骤相同。
```
cd aici/rllm/rllm-llamacpp
```
4构建并启动服务

该脚本会编译 aicirt 与 rllm-llamacpp 并加载指定模型；首次运行需下载模型，耗时较长。
```
./server.sh phi2
```
5切换其它模型

不带参数运行脚本可查看内置可用模型列表；也可传入 HuggingFace 上 .gguf 链接或本地 .gguf 路径。
```
./server.sh orca
```

关键配置

配置项	必填	说明	示例
`model（server.sh 参数）`	是	指定加载的模型，支持内置名、HuggingFace .gguf 链接或本地 .gguf 路径。	`phi2`
`后端目录`	是	选择编译的后端：rllm-llamacpp 通用，rllm-cuda 需 NVidia 计算能力 8.0+。	`rllm-llamacpp`