text-generation-webui-colab

在免费 Colab 上跑大模型，一键启动网页聊天界面

text-generation-webui-colab 是一个基于 Google Colab 的 Jupyter Notebook 项目，为运行大型语言模型（LLM）提供了便捷的 Gradio Web 界面。它解决了用户在本地硬件资源不足时难以运行大模型的痛点，通过 Colab 的免费或付费 GPU 算力，让用户无需复杂配置就能快速启动一个交互式聊天或推理界面。核心能力包括：一键启动多种主流开源模型（如 Llama、GPT-NeoX 等）、支持模型量化以降低显存占用、提供类 ChatGPT 的对话体验，并集成了文本生成、参数调节、模型切换等功能。项目面向开发者、研究人员和 AI 爱好者，降低了使用大模型的门槛，适合快速原型验证和教学演示，但受限于 Colab 的会话时长和资源配额。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2094

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队camenduru

所属国家

官网地址

GitHubhttps://github.com/camenduru/text-generation-webui-colab

定价模式free

价格说明开源项目，完全免费，用户可通过Colab自行部署使用。

访问状态

是否开源是

开源协议Unlicense

主要语言Jupyter Notebook

技术栈/模型alpaca,colab,colab-notebook,colaboratory,gradio,koala,lama,llama,llamas,llm,vicuna

GitHub 星标★ 2094

30天Star增速

HF 下载量

上线时间2023-04-08 00:00:00

最近更新2026-09-23 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数1

使用教程

难度：入门约 15 分钟部署方式：云服务 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

一个可用的 Google 账号，并能访问 Google Colab
网络可访问 GitHub、HuggingFace 及 Colab 运行时
建议选择带 GPU 的 Colab 运行时（免费版或 Colab Pro）
浏览器可打开 Gradio 输出的公网链接

安装与启动步骤

1打开对应 Colab

在本仓库中找到想运行的模型对应的 .ipynb 笔记本（README 中按 Colab / Colab Pro 分类列出），点击在 Colab 中打开。
2切换 GPU 运行时

在 Colab 菜单里把运行时类型改为 GPU，否则大模型无法加载或会极慢。
3顺序执行单元格

从上到下依次运行 notebook 单元格，等待依赖安装和模型下载完成，中途不要跳过单元格。
4打开 Web 界面

运行到启动 Gradio 的单元格后，会输出一个可点击的公网地址，点开即为类 ChatGPT 的交互界面。
5排查模板报错

若出现 IndexError: list index out of range，按 README 提示设置所选模型的 instruction template 后重跑。

关键配置

配置项	必填	说明	示例
`models instruction template`	否	指定对话模型的指令模板，缺失时会报 IndexError: list index out of range	`vicuna`

如何确认成功

notebook 最后单元格打印出 Gradio 的公网链接，浏览器打开后能在输入框发消息并收到模型回复。

常见问题

Q：报错 IndexError: list index out of range 怎么办？

A：README 明确说明：请设置 models instruction template（模型指令模板），选择与当前模型匹配的模板后重新运行该单元格。

Q：能用 Colab Pro 运行 LLaMA 类模型吗？

A：README 提出疑问：按 Facebook Research LLaMA 非商用许可，可能不能用于 Colab Pro 等非免费账号，作者本人也表示困惑，使用前请自行确认许可。

Q：这些模型可以商用吗？

A：README 的 Models License 表显示 vicuna-13b-GPTQ-4bit-128g 等为仅限非商业用途的研究预览，代码部分为 Apache License 2.0。

Q：有视频教程吗？

A：README 提供了 YouTube 教程链接：https://www.youtube.com/watch?v=kgA7eKU1XuA 。

注意事项

README 标注为 WIP（进行中），内容与可用模型可能随时变动。
README 节选中未给出任何安装命令与 notebook 直链，本教程步骤依据 Colab 使用流程推断，请以仓库中实际的 .ipynb 文件为准。
Web 界面基于上游项目 oobabooga/text-generation-webui，遇到界面问题可参考该项目文档。
运行前请自行核对各模型许可证，避免超出非商用范围使用。

核心亮点

零本地配置，浏览器打开即用，适合无 GPU 环境
支持多种主流开源模型（Llama、GPT-NeoX 等），并内置量化选项
基于 Gradio 的界面直观，可快速调整参数并实时预览效果

不足之处

受 Colab 免费版会话时长和 GPU 配额限制，长任务易中断
文档/社区待观察：项目说明较简略，高级用法依赖用户自行摸索

适用场景

在无本地 GPU 的笔记本上快速体验开源大模型对话
教学演示或原型验证，快速展示模型生成效果
临时需要运行大模型但不想配置本地环境的场景

替代项目

text-generation-webui (oobabooga)、FastChat、LocalAI

项目介绍

text-generation-webui-colab 是开发框架领域的开源项目，由 camenduru 开发，2023 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（2,094）位列前 30%，在开发框架分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。完全免费，用户可通过Colab自行部署使用。

它主要面向的使用场景是：在无本地GPU的笔记本上快速体验开源大模型对话。同类可对比的替代方案包括 text-generation-webui (oobabooga)、FastChat、LocalAI。

上一篇：any-llm

下一篇：aici