torchchat

一条命令在手机/电脑上跑大模型，无需服务器

torchchat 是一个由 PyTorch 团队推出的轻量级本地大模型推理框架，旨在让开发者能够在服务器、桌面甚至移动设备上直接运行 PyTorch 格式的 LLM。它解决了传统大模型部署依赖重型服务框架（如 vLLM、TGI）的问题，提供了一种极简、可嵌入的推理方案。核心能力包括：支持多种主流模型（如 Llama、Mistral、GPT 等）的加载与推理，提供 Python 和 C++ 双接口，支持跨平台（Linux、macOS、iOS、Android）部署，并针对移动端做了量化与优化。用户可以通过简单的命令行或几行代码，快速实现本地模型推理，而无需搭建复杂的服务端环境。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 3612

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队pytorch

所属国家

官网地址

GitHubhttps://github.com/pytorch/torchchat

定价模式free

价格说明开源项目，本地部署，完全免费

访问状态

是否开源是

开源协议BSD-3-Clause

主要语言Python

技术栈/模型llm,local,pytorch

GitHub 星标★ 3612

30天Star增速

HF 下载量

上线时间2024-03-22 00:00:00

最近更新2026-09-23 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

难度：进阶约 15 分钟部署方式：本地安装 7 步

环境要求

已安装 Python 3.10（README 安装步骤明确要求）
强烈建议使用 venv 或 Conda 虚拟环境隔离依赖
需联网克隆仓库并安装依赖

安装与启动步骤

1克隆仓库

从 GitHub 克隆 torchchat 源码到本地，README 安装章节的第一步。
```
git clone https://github.com/pytorch/torchchat.git
```
2进入项目目录

切换到克隆后的 torchchat 目录，后续所有命令都在此根目录执行。
```
cd torchchat
```
3创建虚拟环境

README 建议用 venv 或 Conda 隔离环境，避免与其他 PyTorch 版本冲突。
```
python3 -m venv .venv
```
4激活虚拟环境

激活后依赖只装在该环境内；Windows 需改用对应的 activate 脚本。
```
source .venv/bin/activate
```
5安装依赖

执行官方脚本安装 torchchat 所需依赖，下载量较大、耗时较久。
```
./install/install_requirements.sh
```
6创建导出目录

新建 exportedModels 目录，用于存放后续生成的模型导出产物。
```
mkdir exportedModels
```
7安装 ExecuTorch

可选步骤：仅在使用 ExecuTorch/端侧（PTE）相关命令前需要，必须在 torchchat 根目录执行。
```
export TORCHCHAT_ROOT=${PWD}
./torchchat/utils/scripts/install_et.sh
```

关键配置

配置项	必填	说明	示例
`TORCHCHAT_ROOT`	否	ExecuTorch 安装脚本使用的 torchchat 根目录路径。	`/your/path/torchchat`

如何确认成功

激活虚拟环境后 ./install/install_requirements.sh 执行无报错，即可用 --help 查看命令菜单。

常见问题

Q：install_et.sh 报 Building wheel for executorch 失败怎么办？

A：可能是链接到了其他方式安装的旧版 PyTorch（如 homebrew）。README 给出的做法是 brew uninstall pytorch 断开链接，但注意可能影响依赖它的其他程序。

Q：出现 CERTIFICATE_VERIFY_FAILED 报错怎么办？

A：README 提供的解决办法是执行 pip install --upgrade certifi 升级证书包。

Q：为什么要用虚拟环境？

A：torchchat 使用多个 PyTorch 项目的最新改动，venv 或 Conda 能避免与系统已有 PyTorch 版本相互干扰。

注意事项

torchchat 已不再处于活跃开发状态，详见 GitHub issue 1543。
ExecuTorch 相关命令必须在 torchchat 根目录下执行。
iOS/Android 端部署前需先完成 ExecuTorch 安装（Set Up ExecuTorch）。
README 提示可用 --help 查看各命令参数，定制编译与量化等选项。

核心亮点

自带 C++ 运行时，可无缝部署到 iOS/Android，移动端推理体验流畅
支持多种主流模型架构（Llama、Mistral 等），且与 PyTorch 生态无缝集成
提供 Python 和 C++ 双 API，既适合快速原型，也适合生产环境嵌入

不足之处

文档/社区待观察
相比 vLLM 等专用推理引擎，在高并发服务场景下性能优化有限

适用场景

在移动设备上离线运行聊天机器人或智能助手
在边缘设备（如树莓派）上部署私有 LLM 服务
快速原型验证 PyTorch 模型的本地推理效果

替代项目

llama.cpp、Ollama、MLC LLM

项目介绍

torchchat 是开源模型领域的开源项目，由 pytorch 开发，2024 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（3,612）位列前 30%，在开源模型分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。本地部署，完全免费。

它主要面向的使用场景是：在移动设备上离线运行聊天机器人或智能助手。同类可对比的替代方案包括 llama.cpp、Ollama、MLC LLM。

上一篇：NExT-GPT

下一篇：MiniMax-01