dalai

环境要求

• Node.js >= 18
• Docker（使用 Docker Compose 方式时需要，且需已启动）
• macOS 用户需安装 Homebrew、cmake、pkg-config
• Windows 用户需安装 Visual Studio 并勾选 Python、Node.js、C++ 桌面开发三项
• 内存建议：7B 约 4GB、13B 约 8GB、30B 约 16GB、65B 约 32GB

安装与启动步骤

1. 1安装 Node.js

   确保本机已安装 Node.js 18 或更高版本，dalai 通过 npx 运行，版本过低会失败。

2. 2安装 Homebrew(macOS)

   macOS 用户若未安装 Homebrew，先执行此命令安装；已安装可跳过。

   /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

   复制

3. 3安装编译依赖(macOS)

   macOS 上安装 cmake 和 pkg-config，用于编译推理引擎。

   brew install cmake
   brew install pkg-config

   复制

4. 4安装 Visual Studio(Win

   Windows 用户需从官网下载安装 Visual Studio，安装时勾选 Python 开发、Node.js 开发、使用 C++ 的桌面开发。

5. 5下载模型

   下载 alpaca 或 llama 模型，7B 为示例尺寸，也可换成其他尺寸；Windows 必须在 cmd 中执行，不要用 PowerShell。

   npx dalai alpaca install 7B

   复制

6. 6启动 Web UI

   启动本地服务后在浏览器打开 http://localhost:3000 即可聊天；Windows 同样需在 cmd 中运行。

   npx dalai serve

   复制

7. 7Docker Compose 方式

   已安装并运行 Docker 的用户可改用此方式，模型会保存在当前目录的 ./models 文件夹。

   docker compose build
   docker compose run dalai npx dalai alpaca install 7B
   docker compose up -d

   复制

关键配置

如何确认成功

浏览器打开 http://localhost:3000 或 http://127.0.0.1:3000 能看到聊天界面并能正常对话。

常见问题

注意事项

• Windows 用户所有命令都应在 cmd 中执行，PowerShell 会因权限过严导致脚本静默失败。
• 使用 Docker 方式时模型保存在 ./models 目录，可通过挂载卷持久化。
• 模型尺寸越大对内存要求越高，请对照内存需求表选择合适模型。
• README 中仅给出 alpaca 7B 的完整安装命令，其他尺寸与 llama 命令请按同样格式自行替换。