transformers
全球最大的模型仓库全家桶，想用的模型一把抓
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 168640
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10 及以上
- PyTorch 2.5 及以上
- 建议使用 venv 或 uv 创建独立虚拟环境
- 首次运行需联网下载模型权重并本地缓存
安装与启动步骤
-
1创建虚拟环境
在项目目录下用 Python 自带的 venv 创建隔离环境，避免与系统包冲突。
python -m venv .venv -
2激活虚拟环境
Linux/macOS 用 source 激活；Windows PowerShell 执行 .\.venv\Scripts\Activate.ps1。
source .venv/bin/activate -
3安装 PyTorch
README 要求 PyTorch 2.5+，请按 PyTorch 官网的本地安装指引选择对应 CUDA/CPU 版本。
pip install torch -
4安装 Transformers
安装本项目的 Python 包；README 节选中安装代码块被截断，请以官方 Installation 文档为准。
pip install transformers -
5运行文本生成示例
将 README Quickstart 中的 pipeline 示例保存为 quickstart.py 后运行，首次会自动下载并缓存模型。
python quickstart.py -
6命令行对话
需先在本机运行 transformers serve，再执行该命令与指定模型进行命令行聊天。
transformers chat Qwen/Qwen2.5-0.5B-Instruct
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
task | 是 | 指定要执行的推理任务类型 | text-generation |
model | 是 | 指定使用的模型名称或本地路径 | Qwen/Qwen2.5-1.5B |
dtype | 否 | 指定模型权重数据类型，常用于显存优化 | torch.bfloat16 |
device_map | 否 | 自动分配模型到可用设备，大模型常用 | auto |
max_new_tokens | 否 | 生成任务中最多新增的 token 数 | 512 |
如何确认成功
运行 pipeline 示例后能正常打印生成文本、识别文本或分类结果，即表示安装与模型加载成功。
常见问题
Q：第一次运行特别慢甚至卡住怎么办？
A：首次运行需要从 Hugging Face Hub 下载模型权重，下载完成后会缓存到本地，后续调用可直接复用，因此只需耐心等待一次。
Q：如何与模型进行多轮对话？
A：与普通推理用法相同，只需构造包含 role 和 content 的对话历史列表作为 Pipeline 输入，再把列表传给 pipeline 即可。
Q：支持哪些类型的任务？
A：Pipeline 同时支持文本、音频、视觉与多模态任务，例如文本生成、自动语音识别、图像分类和视觉问答。
Q：只有一个 GPU 或显存不足怎么办？
A：可设置 device_map="auto" 让框架自动分配设备，也可配合 dtype=torch.bfloat16 降低权重的显存占用。
注意事项
- README 节选中 Installation 的代码块被截断，安装命令仅供参考，请以官方 Installation 文档为准。
- 运行环境必须满足 Python 3.10+ 与 PyTorch 2.5+，否则可能出现兼容问题。
- 命令行聊天功能依赖本机已启动 transformers serve 服务。
核心亮点
- 统一的高层API，支持文本、视觉、音频和多模态模型，训练与推理切换便捷，降低了模型使用门槛
- 与Hugging Face Hub深度集成，可快速加载数万预训练模型，涵盖BERT、GPT、Qwen、Gemma、DeepSeek等主流架构
- 支持PyTorch、TensorFlow和JAX多框架互操作，同时提供Pipeline、Trainer和AutoClass等工具，适合从研究到生产的全流程
- 社区活跃，持续跟进SOTA模型和任务，Hacktoberfest等开源贡献机制完善，问题反馈与教程资源丰富
不足之处
- 抽象层较厚，自定义模型或精细控制时需深入源码，调试复杂度高
- 默认推理路径内存和时延开销偏大，性能敏感场景需额外优化（如ONNX、TensorRT、torch.compile）
- 依赖库众多且版本更新频繁，环境兼容性问题时有发生，部分历史版本存在已知bug，需谨慎锁定版本
适用场景
- 快速实现文本分类、命名实体识别、问答、翻译等NLP任务，并用统一API替换不同模型的推理逻辑
- 多模态场景（图像+文本、音频+文本）的联合建模与零样本分类，如CLIP、Whisper、BLIP等模型应用
- 大模型（LLM）的指令微调、PPO/DPO对齐以及量化部署，兼顾研究实验和中小规模生产环境
替代项目
sentence-transformers、spaCy、fastai
同类项目推荐
cee
开源
让 LLM 工作流像状态机一样稳定可复现
Deterministic-first execution engine for agent workflows in Go: the LLM extracts at ···
LlamaIndexTS
开源
用 TypeScript 构建生产级 LLM 数据应用，快速接入 RAG 与 Agent
Data framework for your LLM applications. Focus on server side solution
openai-async
开源
异步调用 OpenAI，不阻塞，高并发轻松搞定
A light-weight, asynchronous client for OpenAI API - text completion, image generati···
alloy
开源
用写前端组件的方式生成代码，声明式搞定重复模板
A code generation framework inspired by JavaScript front-end frameworks
ai-engineering
开源
给 AI 写的代码装上安全闸门，提交前自动查质量查安全
Developer-centered AI engineering: build software with security, quality and governa···
llms-tools
开源
一张清单，快速找到好用的 LLM 工具和项目
A list of LLMs Tools & Projects
translator
开源
一个层，连接所有智能体、工具和 API，让集成不再头疼。
layer that lets you connect any agent, any tool, any api together.
deepagents
开源
开箱即用的智能体框架，快速构建生产级 AI 应用
The batteries-included agent harness.
text-generation-webui-colab
开源
在免费 Colab 上跑大模型，一键启动网页聊天界面
A colab gradio web UI for running Large Language Models