tabby

环境要求

• 已安装 Docker，可执行 docker 命令
• 支持 CUDA 的 NVIDIA GPU（命令使用 --gpus all 与 --device cuda）
• 可访问 Docker Hub 拉取 tabbyml/tabby 镜像
• 本机 8080 端口未被占用（用于端口映射）

安装与启动步骤

1. 1确认 Docker 可用

   先在终端确认 Docker 命令可正常执行；若未安装 Docker，请先完成 Docker 安装。

   docker --version

   复制

2. 2启动 Tabby 容器

   用 README 给出的 Docker 命令启动服务，会拉取镜像并加载 StarCoder-1B 与 Qwen2-1.5B-Instruct 模型。

   docker run -it 
     --gpus all -p 8080:8080 -v $HOME/.tabby:/data 
     tabbyml/tabby 
     serve --model StarCoder-1B --device cuda --chat-model Qwen2-1.5B-Instruct

   复制

3. 3访问服务

   容器把服务映射到本机 8080 端口，启动完成后可用浏览器打开 http://localhost:8080 查看 Tabby 界面。

4. 4安装 IDE 插件

   按官方文档在 VS Code、JetBrains 等编辑器中安装对应扩展，再连接自托管的 Tabby 服务。

关键配置

如何确认成功

容器日志无报错并正常启动，浏览器访问 http://localhost:8080 能看到 Tabby 服务页面。

常见问题

注意事项

• 命令中的 $HOME 是 Linux/macOS 写法，Windows 环境请替换为实际可写目录路径。
• README 称 1 分钟可跑起来，但首次拉镜像和下载模型可能更久。
• 更多推理类型、并行度等选项请查看 README 指向的官方文档页面。
• IDE/编辑器插件需按官方扩展文档安装并配置服务地址。