Taiwan-LLM

让 AI 更懂台湾腔，本地化部署更顺手

Taiwan-LLM 是一个专注于台湾繁体中文的开源大语言模型项目，旨在提供更贴合台湾地区用语习惯的 AI 模型。它解决了通用模型在台湾语境下表现不佳的问题，通过收集台湾本地数据训练，支持繁体中文的生成、理解与对话。核心能力包括对台湾俚语、地名、文化背景的准确理解，以及提供可本地部署的模型权重。项目基于 Python 构建，适合研究与应用开发。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1426

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队MiuLab

所属国家

官网地址https://twllm.com

GitHubhttps://github.com/MiuLab/Taiwan-LLM

定价模式free

价格说明开源模型，Apache-2.0许可，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型langauge-model,llm,taiwan,traditional-mandarin,twllm

GitHub 星标★ 1426

30天Star增速

HF 下载量

上线时间2023-08-10 00:00:00

最近更新2026-09-23 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

难度：进阶约 30 分钟部署方式：Docker 4 步

环境要求

Docker（用于运行 Axolotl 镜像）
NVIDIA GPU 与可用的 CUDA 驱动（README 以 --gpus 方式启动）
Python 环境（使用 openai SDK 需 1.0.0 以上版本）
可访问 twllm.com 与 Hugging Face 的网络环境

安装与启动步骤

1在线体验效果

打开官网 Demo 直接和 Llama-3-Taiwan 对话，无需本地安装任何环境，适合先确认模型是否符合需求。
2启动训练容器

用 Docker 运行 Axolotl 官方镜像，--gpus '"all"' 暴露全部 GPU，--rm 表示退出后自动删除容器。
```
docker run --gpus '"all"' --rm -it winglian/axolotl:main-latest
```
3预处理数据集

在容器内执行 Axolotl 预处理；README 示例把 CUDA_VISIBLE_DEVICES 置空，配置名被截断，需换成自己的配置。
```
CUDA_VISIBLE_DEVICES="" python -m axolotl.cli.preprocess example_training_config_
```
4安装 OpenAI SDK

若要用 Python 调用模型接口，先安装 1.0.0 以上版本的 openai 包，再在代码中 from openai import OpenAI。
```
pip install "openai>=1.0.0"
```

关键配置

配置项	必填	说明	示例
`CUDA_VISIBLE_DEVICES`	否	置空表示预处理阶段不使用 GPU，仅做数据准备	`""`

如何确认成功

容器能正常进入交互式 shell 且不报错，或在线 Demo twllm.com 能正常对话，即表示环境可用。

常见问题

Q：没有 GPU 可以本地跑吗？

A：README 的微调快速开始只给出 --gpus '"all"' 的 Docker 方式，本地微调需要 GPU；无显卡建议先用 twllm.com 在线 Demo 体验。

Q：预处理命令里的配置名是什么？

A：README 中写作 example_training_config_ 且被截断，属于示例占位，需替换为你自己实际的 Axolotl 配置文件名再执行。

Q：在哪里获取模型权重？

A：通过 README 中链接的 Hugging Face taiwan-llm 模型集合页面下载，README 未给出具体下载命令。

Q：必须使用 Docker 吗？

A：README 的微调快速开始只演示了 Docker 运行 Axolotl 镜像这一种方式，其他安装方式未在文档中提及。

注意事项

README 节选未给出完整的安装与推理部署步骤，实际使用请以仓库最新文档为准。
Axolotl 镜像体积较大，拉取耗时较长，需预留足够的磁盘空间。
微调训练对显存要求较高，建议在配备 NVIDIA GPU 的机器上执行。
使用前请阅读并遵守项目的 LICENSE 与 DATA_LICENSE 授权条款。

核心亮点

针对台湾繁体中文优化，对当地用语和文化理解更准确
提供可下载的模型权重，支持本地部署，数据隐私可控
开源社区活跃，持续更新，基于主流架构易于二次开发

不足之处

模型规模相对较小，在复杂任务上可能不如通用大模型
文档和社区支持仍待完善，中文资料有限

适用场景

台湾本地化客服或聊天机器人
繁体中文内容生成与翻译
台湾文化相关的文本分析与研究

替代项目

Llama-2、BLOOM、Mistral

项目介绍

Taiwan-LLM 是开源模型领域的开源项目，由 MiuLab 开发，2023 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（1,426）位列前 30%，在开源模型分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。Apache-2.0许可，完全免费，可自行部署使用。

它主要面向的使用场景是：台湾本地化客服或聊天机器人。同类可对比的替代方案包括 Llama-2、BLOOM、Mistral。

上一篇：Skywork

下一篇：llama.go