项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-13 · 当前星标 ★ 1384
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3.9 或更高版本
- 可选:CUDA toolkit(需要 GPU 加速时安装)
- 支持 Linux、MacOS 和 Windows,但部分优化算法对操作系统有限制
安装与启动步骤
-
1检查 Python 版本
确认本机 Python 版本不低于 3.9,低于该版本无法安装 Pruna,需先升级或使用虚拟环境。
python --version -
2pip 安装 Pruna
Pruna 已发布到 PyPI,直接用 pip 安装即可,这是官方推荐的最简安装方式。
pip install pruna -
3或从源码安装
如需使用最新源码,可克隆仓库并以可编辑模式安装;两条命令需依次执行。
git clone https://github.com/PrunaAI/pruna.git cd pruna pip install -e . -
4加载预训练模型
先按常规方式加载任意预训练模型,README 以 Stable Diffusion 为例,需要已安装 diffusers。
from diffusers import StableDiffusionPipeline base_model = StableDiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5") -
5用 smash 优化模型
调用 Pruna 的 smash 函数进行一键优化,并通过 SmashConfig 自定义组合多种优化算法。
from pruna import smash, SmashConfig
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
SmashConfig | 否 | 用于自定义优化过程,指定要组合的压缩/加速算法。 | SmashConfig() |
如何确认成功
pip 安装过程无报错,且 Python 中能成功导入 pruna(from pruna import smash, SmashConfig 不报错),即表示安装成功。
常见问题
Q:Python 版本低于 3.9 怎么办?
A:Pruna 要求 Python 3.9 或更高版本,请先升级 Python,或使用 conda/venv 创建 3.9+ 的虚拟环境后再执行 pip install pruna。
Q:想用 GPU 加速需要额外装什么?
A:README 注明 CUDA toolkit 为可选项,需要 GPU 支持时请自行安装 CUDA toolkit,否则部分算法无法在 GPU 上运行。
Q:为什么某些算法在我的系统上不可用?
A:Pruna 支持 Linux、MacOS 和 Windows,但部分算法对操作系统有额外限制,并非所有平台都可用,具体请查阅官方文档。
Q:安装或使用中遇到问题去哪里求助?
A:可先查阅官方文档与 FAQ 页面,也可以在 Discord 社区提问、参加 Office Hours 或在 GitHub 上提交 issue。
注意事项
- 部分优化算法受操作系统限制,跨平台使用前请确认算法可用性。
- quantizer、pruner、distiller 等算法可能降低模型质量,可考虑配合 recoverer 恢复性能。
- 各算法的完整说明和效果对比请参考官方文档 https://docs.pruna.ai/en/stable/。
核心亮点
- 支持 LLM、扩散模型和视觉模型,覆盖主流模型类型
- 自动组合量化、剪枝、编译等技术,无需手动调参
- 与 Hugging Face 生态无缝集成,上手门槛低
不足之处
- 文档/社区待观察
- 优化效果依赖具体模型和硬件,通用性有待验证
适用场景
- 生产环境部署大模型,降低推理延迟和成本
- 边缘设备或资源受限场景下运行 AI 模型
- 快速原型验证多种优化技术组合的效果
替代项目
ONNX Runtime、TensorRT、OpenVINO
上一篇:catalyst
下一篇:LoongForge
同类项目推荐
LlamaFactory
开源
上百种模型随意挑,教出你专属的 AI
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)
finetuned-qlora-falcon7b-medical
开源
用QLoRA微调Falcon-7B,打造心理健康对话助手
Finetuning of Falcon-7B LLM using QLoRA on Mental Health Conversational Dataset
lorax
开源
一个服务跑上千个微调模型,省 GPU 又省心
Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs
raft
开源
微调+RAG双阶段,让AI代理精准模仿特定人物
RAFT, or Retrieval-Augmented Fine-Tuning, is a method comprising of a fine-tuning an···
jax-llm-examples
开源
纯JAX极简代码,跑通LLM训练与推理
Minimal yet performant LLM examples in pure JAX
CUDA-L2
开源
用强化学习自动写出比 cuBLAS 更快的矩阵乘法内核
CUDA-L2: Surpassing cuBLAS Performance for Matrix Multiplication through Reinforceme···
gflownet
开源
按奖励比例采样多样化候选解的生成模型框架
Generative Flow Networks - GFlowNet
OneGen
开源
一次前向传播,边生成边检索,让 LLM 知识问答更快更准。
[EMNLP 2024] OneGen: Efficient One-Pass Unified Generation and Retrieval for LLMs.
xmtf
开源
多任务微调,让模型学会跨语言举一反三
Crosslingual Generalization through Multitask Finetuning
