pruna

一键优化 AI 模型,推理提速又省资源。

开源 🏷️定价信息待确认 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 125 🐛 待处理 11 👀 关注 13
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1384
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

pruna 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队PrunaAI
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai,computer-vision,deep-learning,diffusers,diffusion-models,hacktoberfest,llm,machine-learning,optimization,python,speech-recognition,transformers
GitHub 星标★ 1384
上线时间2025-03-11 00:00:00
代码更新2026-11-09
仓库体积47.6 MB
本站数据更新2026-11-11
维护状态活跃
收录时间2026-08-13
浏览次数21

项目介绍

Pruna 是一个面向开发者的模型优化框架,旨在以最小的工作量让 AI 模型运行得更快、更高效。它主要解决深度学习模型在推理阶段的性能瓶颈问题,通过组合多种优化技术(如量化、剪枝、蒸馏、编译等),自动为模型选择最优的优化策略,并生成可直接部署的优化后模型。核心能力包括:一键式优化接口,支持 Hugging Face 生态的 LLM、扩散模型和视觉模型;自动评估优化效果,确保模型精度损失可控;提供多种后端支持,如 ONNX Runtime、TensorRT 等。Pruna 特别适合需要将大模型部署到生产环境、降低推理成本或提升响应速度的开发者,能显著减少手动调优和实验的时间。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-13 · 当前星标 ★ 1384

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • Python 3.9 或更高版本
  • 可选:CUDA toolkit(需要 GPU 加速时安装)
  • 支持 Linux、MacOS 和 Windows,但部分优化算法对操作系统有限制

安装与启动步骤

  1. 1检查 Python 版本

    确认本机 Python 版本不低于 3.9,低于该版本无法安装 Pruna,需先升级或使用虚拟环境。

    python --version
  2. 2pip 安装 Pruna

    Pruna 已发布到 PyPI,直接用 pip 安装即可,这是官方推荐的最简安装方式。

    pip install pruna
  3. 3或从源码安装

    如需使用最新源码,可克隆仓库并以可编辑模式安装;两条命令需依次执行。

    git clone https://github.com/PrunaAI/pruna.git
    cd pruna
    pip install -e .
  4. 4加载预训练模型

    先按常规方式加载任意预训练模型,README 以 Stable Diffusion 为例,需要已安装 diffusers。

    from diffusers import StableDiffusionPipeline
    base_model = StableDiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
  5. 5用 smash 优化模型

    调用 Pruna 的 smash 函数进行一键优化,并通过 SmashConfig 自定义组合多种优化算法。

    from pruna import smash, SmashConfig

关键配置

配置项必填说明示例
SmashConfig否用于自定义优化过程,指定要组合的压缩/加速算法。SmashConfig()

如何确认成功

pip 安装过程无报错,且 Python 中能成功导入 pruna(from pruna import smash, SmashConfig 不报错),即表示安装成功。

常见问题

Q:Python 版本低于 3.9 怎么办?

A:Pruna 要求 Python 3.9 或更高版本,请先升级 Python,或使用 conda/venv 创建 3.9+ 的虚拟环境后再执行 pip install pruna。

Q:想用 GPU 加速需要额外装什么?

A:README 注明 CUDA toolkit 为可选项,需要 GPU 支持时请自行安装 CUDA toolkit,否则部分算法无法在 GPU 上运行。

Q:为什么某些算法在我的系统上不可用?

A:Pruna 支持 Linux、MacOS 和 Windows,但部分算法对操作系统有额外限制,并非所有平台都可用,具体请查阅官方文档。

Q:安装或使用中遇到问题去哪里求助?

A:可先查阅官方文档与 FAQ 页面,也可以在 Discord 社区提问、参加 Office Hours 或在 GitHub 上提交 issue。

注意事项

  • 部分优化算法受操作系统限制,跨平台使用前请确认算法可用性。
  • quantizer、pruner、distiller 等算法可能降低模型质量,可考虑配合 recoverer 恢复性能。
  • 各算法的完整说明和效果对比请参考官方文档 https://docs.pruna.ai/en/stable/。

核心亮点

  • 支持 LLM、扩散模型和视觉模型,覆盖主流模型类型
  • 自动组合量化、剪枝、编译等技术,无需手动调参
  • 与 Hugging Face 生态无缝集成,上手门槛低

不足之处

  • 文档/社区待观察
  • 优化效果依赖具体模型和硬件,通用性有待验证

适用场景

  • 生产环境部署大模型,降低推理延迟和成本
  • 边缘设备或资源受限场景下运行 AI 模型
  • 快速原型验证多种优化技术组合的效果

替代项目

ONNX Runtime、TensorRT、OpenVINO

上一篇:catalyst

下一篇:LoongForge

同类项目推荐

LlamaFactory 开源

上百种模型随意挑,教出你专属的 AI

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

★ 75998 2026-08-09
lorax 开源

一个服务跑上千个微调模型,省 GPU 又省心

Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs

★ 3836 2026-08-09
raft 开源

微调+RAG双阶段,让AI代理精准模仿特定人物

RAFT, or Retrieval-Augmented Fine-Tuning, is a method comprising of a fine-tuning an···

★ 178 2026-08-09
jax-llm-examples 开源

纯JAX极简代码,跑通LLM训练与推理

Minimal yet performant LLM examples in pure JAX

★ 287 2026-09-16
CUDA-L2 开源

用强化学习自动写出比 cuBLAS 更快的矩阵乘法内核

CUDA-L2: Surpassing cuBLAS Performance for Matrix Multiplication through Reinforceme···

★ 487 2026-08-09
gflownet 开源

按奖励比例采样多样化候选解的生成模型框架

Generative Flow Networks - GFlowNet

★ 355 2026-11-03
OneGen 开源

一次前向传播,边生成边检索,让 LLM 知识问答更快更准。

[EMNLP 2024] OneGen: Efficient One-Pass Unified Generation and Retrieval for LLMs.

★ 149 2026-08-09
xmtf 开源

多任务微调,让模型学会跨语言举一反三

Crosslingual Generalization through Multitask Finetuning

★ 534 2026-08-09