torchchat

一条命令在手机/电脑上跑大模型，无需服务器

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 246 🐛 待处理 94 👀 关注 15 ⚠️ 作者已归档（停止维护）

GitHub ↗

GitHub 星标 ★ 3610

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，本地部署，完全免费

项目预览

项目数据

分类开源模型

开发团队pytorch

GitHubhttps://github.com/pytorch/torchchat

定价模式🏷️完全免费

价格说明开源项目，本地部署，完全免费

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议BSD-3-Clause

主要语言Python

技术栈/模型llm,local,pytorch

GitHub 星标★ 3610

上线时间2024-03-22 00:00:00

代码更新2025-09-10

仓库体积9.2 MB

本站数据更新2026-11-08

维护状态低维护

收录时间2026-08-09

浏览次数7

项目介绍

torchchat 是一个由 PyTorch 团队推出的轻量级本地大模型推理框架，旨在让开发者能够在服务器、桌面甚至移动设备上直接运行 PyTorch 格式的 LLM。它解决了传统大模型部署依赖重型服务框架（如 vLLM、TGI）的问题，提供了一种极简、可嵌入的推理方案。核心能力包括：支持多种主流模型（如 Llama、Mistral、GPT 等）的加载与推理，提供 Python 和 C++ 双接口，支持跨平台（Linux、macOS、iOS、Android）部署，并针对移动端做了量化与优化。用户可以通过简单的命令行或几行代码，快速实现本地模型推理，而无需搭建复杂的服务端环境。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3610

技术标签

llm local pytorch

使用教程

难度：进阶约 15 分钟部署方式：本地安装 7 步

环境要求

已安装 Python 3.10（README 安装步骤明确要求）
强烈建议使用 venv 或 Conda 虚拟环境隔离依赖
需联网克隆仓库并安装依赖

安装与启动步骤

1克隆仓库

从 GitHub 克隆 torchchat 源码到本地，README 安装章节的第一步。
```
git clone https://github.com/pytorch/torchchat.git
```
2进入项目目录

切换到克隆后的 torchchat 目录，后续所有命令都在此根目录执行。
```
cd torchchat
```
3创建虚拟环境

README 建议用 venv 或 Conda 隔离环境，避免与其他 PyTorch 版本冲突。
```
python3 -m venv .venv
```
4激活虚拟环境

激活后依赖只装在该环境内；Windows 需改用对应的 activate 脚本。
```
source .venv/bin/activate
```
5安装依赖

执行官方脚本安装 torchchat 所需依赖，下载量较大、耗时较久。
```
./install/install_requirements.sh
```
6创建导出目录

新建 exportedModels 目录，用于存放后续生成的模型导出产物。
```
mkdir exportedModels
```
7安装 ExecuTorch

可选步骤：仅在使用 ExecuTorch/端侧（PTE）相关命令前需要，必须在 torchchat 根目录执行。
```
export TORCHCHAT_ROOT=${PWD}
./torchchat/utils/scripts/install_et.sh
```