CTranslate2

让 Transformer 模型在 CPU/GPU 上跑得更快，省时省力

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 555 🐛 待处理 270 👀 关注 53

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 4744

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

CTranslate2 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类基础设施

开发团队OpenNMT

官网地址https://opennmt.net/CTranslate2

GitHubhttps://github.com/OpenNMT/CTranslate2

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言C++

技术栈/模型avx,avx2,cpp,cuda,deep-learning,deep-neural-networks,gemm,inference,intrinsics,machine-translation,mkl,neon,neural-machine-translation,onednn,openmp,opennmt,parallel-computing,quantization,thrust,transformer-models

GitHub 星标★ 4744

上线时间2019-09-23 00:00:00

代码更新2026-11-09

仓库体积17.9 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-10

浏览次数7

项目介绍

CTranslate2 是一个专为 Transformer 类模型设计的高性能推理引擎，用 C++ 编写，支持 CPU（含 AVX、AVX2、NEON 等指令集）和 GPU（CUDA）加速。它解决了深度学习模型在生产环境中部署时推理速度慢、内存占用高的问题，通过权重量化、层融合、内存复用等技术，在保持精度的前提下显著提升吞吐量并降低延迟。核心能力包括：支持多种 Transformer 架构（如 BERT、GPT、T5 等）、动态批处理、多 GPU 推理、与 Hugging Face Transformers 无缝集成，并提供了 Python 和 C++ API。项目在机器翻译、文本生成等场景中表现优异，尤其适合对延迟和成本敏感的工业级部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 4744

技术标签

cpp cuda deep-learning deep-neural-networks inference

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 10 分钟部署方式：库/依赖 4 步

环境要求

Python 环境及 pip（README 使用 pip 安装）
已转换为 CTranslate2 优化格式的模型文件
如需 GPU 加速：NVIDIA CUDA 环境；AMD ROCm 用户需下载 releases 页面的专用 wheel

安装与启动步骤

1安装 CTranslate2

README 明确给出的唯一安装方式，通过 pip 安装 C++/Python 推理库，CPU 与 GPU 支持随包提供。
```
pip install ctranslate2
```
2转换模型格式

兼容模型必须先用官方转换器转为优化格式，README 只列出各框架指南链接，未给出具体命令，需按来源框架查阅文档。
3运行翻译推理

用 Translator 加载转换后的翻译模型路径，再调用 translate_batch 传入分词后的 token 列表。
```
import ctranslate2

translator = ctranslate2.Translator(translation_model_path)
translator.translate_batch(tokens)
```
4运行文本生成

用 Generator 加载生成类模型（如 GPT、Llama 等）路径，再调用 generate_batch 传入起始 token。
```
import ctranslate2

generator = ctranslate2.Generator(generation_model_path)
generator.generate_batch(start_tokens)
```