exllamav3

环境要求

• NVIDIA 消费级 GPU（如 30/40 系），需有可用 CUDA 环境
• CUDA 12.4 或更高版本
• 已自行安装对应版本的 PyTorch（CUDA 版，pip 不会自动装）
• CUDA toolkit 及编译工具链：Linux 需 gcc 与 python-dev 头文件，Windows 需 VS Build Tools

安装与启动步骤

1. 1安装 PyTorch

   README 要求先装好匹配本地环境的 CUDA 版 PyTorch，版本对应 CUDA 12.4 或更高，torch 不会被 pip 自动安装。

   pip install torch --index-url https://download.pytorch.org/whl/cu128

   复制

2. 2准备编译工具链

   PyPI 包不含预编译扩展，需要本地编译：Linux 装 gcc 与 python-dev 头文件，Windows 装 VS Build Tools，并确保 CUDA toolkit 可用。

3. 3从 PyPI 安装

   直接 pip 安装即可，安装过程中会本地编译 CUDA 扩展，因此上一步的工具链必须齐全，否则会编译失败。

   pip install exllamav3

   复制

4. 4改为源码安装

   若需自行编译或修改代码，可克隆仓库后在仓库根目录执行 pip install . ；执行前同样先装好 CUDA 版 torch。

   git clone https://github.com/turboderp-org/exllamav3.git
   cd exllamav3
   pip install torch --index-url https://download.pytorch.org/whl/cu128
   pip install .

   复制

如何确认成功

能正常 import exllamav3，且加载模型推理时不出现 CUDA 或扩展编译相关报错。

常见问题

注意事项

• README 未给出具体模型下载与示例运行命令，实际使用请参考仓库 examples 目录。
• 该项目面向 NVIDIA 消费级显卡（30/40 系等）优化，非 NVIDIA 环境不适用。
• CUDA 扩展在安装时本地编译，安装耗时较长，建议提前确认 gcc / VS Build Tools 版本兼容。
• 如只需服务化部署而非 Python 集成，优先使用官方推荐的 TabbyAPI。