LocalAI

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• 已安装 Docker 或 Podman 等 OCI 兼容容器运行时
• 可访问 OCI 镜像仓库（如 Docker Hub）以拉取模型镜像
• 无需 GPU，普通硬件即可运行

安装与启动步骤

1. 1准备容器环境

   README 的 Quickstart 以 Containers（Docker、podman 等）方式为主，因此先确保本机已安装并启动 Docker 或 Podman。

2. 2拉取并运行模型

   使用 local-ai run 从标准 OCI 仓库（如 Docker Hub）拉取并运行指定模型，首次执行会自动下载对应镜像。

   local-ai run oci://localai/phi-2:latest

   复制

3. 3重启已有容器

   如果之前已经运行过 LocalAI，无需重新拉取镜像，可直接用 docker start -i 恢复交互式容器会话。

   docker start -i local-ai

   复制

4. 4启动终端 agent

   另开一个终端 shell，启动内置终端 agent 与正在运行的 LocalAI 服务交互，可提问、读取文件、执行命令。具体启动方式见官方 Terminal agent 文档。

5. 5在会话中管理模型

   进入 agent 会话后，用 /models 列出已安装模型，用 /model <name> 在模型之间切换。

   /models
   /model <name>

   复制

如何确认成功

容器成功启动并进入交互会话后，在终端 agent 中输入 /models，能列出已安装的模型即表示运行正常。

常见问题

注意事项

• README 节选仅给出容器方式的快速开始，更完整的安装与配置说明请访问官网 https://localai.io 及其 Terminal agent 文档。
• 模型镜像按需拉取，首次运行会消耗时间与磁盘空间，请确保网络可访问 OCI 镜像仓库。
• 命令中的 phi-2 只是 README 给出的示例模型，实际使用时可按需替换为其他 oci:// 模型地址。
• 终端 agent 在执行改变系统状态的命令前会请求用户确认，操作时请注意审阅。