PaddleMIX

飞桨多模态全家桶,一站式搞定图文理解与生成

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 221 🐛 待处理 152 👀 关注 23
GitHub ↗
GitHub 星标 ★ 721
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可,可免费使用和部署。

项目预览

PaddleMIX 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队PaddlePaddle
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型aigc,clip,controlnet,deepseek-vl,dit,eva-clip,got-ocr20,image-to-text,internvl2,llava,minicpm-v,multimodal,ppdiffusers,qwen2-vl,sd-xl,sora,stable-diffusion,stablevideodiffusion,text-to-image,text-to-video
GitHub 星标★ 721
上线时间2023-07-05 00:00:00
代码更新2026-03-06
仓库体积192.8 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

PaddleMIX是百度飞桨生态下的多模态大模型套件,旨在统一支持主流多模态任务,包括图文理解、视觉问答、图像生成等。它集成了端到端的大规模多模态预训练模型和扩散模型工具箱,覆盖CLIP、ControlNet、DeepSeek-VL、InternVL2、LLaVA、MiniCPM-V等前沿模型,并提供ppdiffusers等工具链。项目解决多模态模型训练、微调和推理的碎片化问题,通过高性能且灵活的API降低开发门槛,支持从研究到落地的全流程。其核心能力包括模型库丰富、与飞桨框架深度集成、支持分布式训练和推理优化,适合需要中文生态和国产框架支持的多模态应用开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 721

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 45 分钟 部署方式:本地安装 5 步

环境要求

  • CUDA GPU
  • conda
  • 约 30G 磁盘

安装与启动步骤

  1. 1克隆

    先拉代码。

    git clone https://github.com/PaddlePaddle/PaddleMIX
  2. 2建环境

    官方指定 Python 3.10。

    conda create -n paddlemix python=3.10 -y && conda activate paddlemix
  3. 3装框架

    先装底座框架。

    sh build_paddle_env.sh
  4. 4装本库

    再装多模态扩展。

    sh build_env.sh
  5. 5自检

    脚本会检查环境是否齐。

    sh check_env.sh

如何确认成功

自检脚本全部通过,示例能跑一次推理。

注意事项

  • 环境脚本按 GPU 型号分支,选错会装错版本。
  • 依赖体量大,先清磁盘。

核心亮点

  • 背靠飞桨生态,与PaddlePaddle深度集成,中文文档和社区支持较好
  • 模型覆盖广,从CLIP到Diffusion,支持图文理解与生成两大方向
  • 提供ppdiffusers等工具,简化扩散模型训练与推理流程

不足之处

  • 项目早期,星标仅724,社区活跃度和生态成熟度待观察
  • 依赖飞桨框架,迁移至PyTorch生态需额外成本

适用场景

  • 基于飞桨的多模态模型研究和快速原型验证
  • 企业级图文理解应用,如视觉问答、图像描述
  • 扩散模型定制化生成,如ControlNet可控图像生成

替代项目

Hugging Face Transformers、OpenMMLab、Diffusers

上一篇:refiners

下一篇:Google-Colab_Notebooks

同类项目推荐

ruby_llm-mcp 开源

用纯 Ruby 给 LLM 接上 MCP 工具,像写普通代码一样编排 AI 工作流

Full-featured MCP support for Ruby and RubyLLM—making it easy to build structured, ···

★ 269 2026-10-15
mellea 开源

把大模型调用写成可校验、可组合的可靠程序

Mellea is a library for writing generative programs.

★ 1851 2026-10-20
PyOmniTS 开源

任意模型跑任意时序数据集,Agent 也能帮你做实验

A Researcher&Agent-Friendly Framework for Time Series Analysis. Train Any Model on A···

★ 109 2026-10-13
lazy-starter-kit 开源

一条命令,把电脑变成 AI 开发环境,先预览再执行

One safe command (or a signed GUI) to set up Claude Code, Codex and a dev environmen···

★ 123 2026-08-09
neuron-ai 开源

在 PHP 中快速搭建生产级 AI 智能体应用

The Agentic Framework of the PHP ecosystem to build production-ready AI driven appli···

★ 2169 2026-08-09
voice-ui-kit 开源

用 React 组件和 hooks 快速搭出语音 AI 应用界面

Components, hooks and template apps for building React voice AI applications quickly···

★ 419 2026-10-08
react-agent 开源

几行代码跑通 ReAct 智能体,省去从零搭图

LangGraph template for a simple ReAct agent

★ 860 2026-09-12
any-agent 开源

一套代码跑遍多个 Agent 框架,还能直接对比评估

A single interface to use and evaluate different agent frameworks

★ 1257 2026-09-13
comfyui-profiler 开源

逐节点计时,快速定位 ComfyUI 工作流性能瓶颈

Calculate the execution time of all nodes.

★ 169 2026-08-09