ONE-PEACE

一个模型搞定视觉、音频、语言，跨模态任务开箱即用

ONE-PEACE 是一个跨视觉、音频、语言三种模态的通用表示模型，旨在探索一种能处理无限模态的统一表征框架。它解决了传统模型只能处理单一或少数模态、难以共享和迁移知识的问题。核心能力包括：通过联合预训练对齐不同模态的语义空间，支持图文检索、音文检索、跨模态分类等任务；采用统一的Transformer架构，可扩展至更多模态；提供预训练模型和微调接口，方便研究者直接使用。该模型在多个跨模态基准上表现优异，为多模态AI研究提供了一个灵活的基础工具。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1060

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队OFA-Sys

所属国家

官网地址

GitHubhttps://github.com/OFA-Sys/ONE-PEACE

定价模式free

价格说明开源模型，Apache-2.0许可，可免费使用和部署。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型audio-language,contrastive-loss,foundation-models,multimodal,representation-learning,vision-and-language,vision-language,vision-transformer

GitHub 星标★ 1060

30天Star增速

HF 下载量

上线时间2023-05-18 00:00:00

最近更新2026-08-17 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：进阶约 20 分钟部署方式：本地安装 6 步

环境要求

Python 3.6 至 3.10
PyTorch >= 1.10.0（推荐 1.13.1）
CUDA Version >= 10.2（推荐 11.6）
可选：Apex、xformers、FlashAttention 加速库

安装与启动步骤

1克隆仓库

从 GitHub 拉取 ONE-PEACE 源码到本地。
```
git clone https://github.com/OFA-Sys/ONE-PEACE
```
2进入项目目录

切换到克隆下来的项目根目录，后续命令都在此目录执行。
```
cd ONE-PEACE
```
3安装依赖包

根据 requirements.txt 安装项目所需 Python 依赖。
```
pip install -r requirements.txt
```

4可选装 Apex

Apex 用于加速训练，非必需；需已配置好 CUDA 编译环境。

git clone https://github.com/NVIDIA/apex
cd apex && pip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" --global-option="--distributed_adam" --global-option="--deprecated_fused_adam" ./

5可选装 xformers

安装 xformers 以启用内存高效注意力，非必需。
```
conda install xformers -c xformers
```

6可选装 FlashAttention

安装 FlashAttention 以使用更快的 LayerNorm，非必需。

git clone --recursive https://github.com/HazyResearch/flash-attention
cd flash-attention && pip install .
cd csrc/layer_norm && pip install .

如何确认成功

README 未给出本地启动验证命令，可用官方 HuggingFace Spaces Demo 在线验证效果。

常见问题

Q：Python 版本有什么限制？

A：README 要求 3.6 <= Python <= 3.10，过高或过低版本可能导致依赖安装失败。

Q：必须安装 Apex、xformers、FlashAttention 吗？

A：都不是必需依赖，仅用于加速训练或节省显存，可跳过或根据环境选择安装。

Q：没有 CUDA 环境能运行吗？

A：README 要求 CUDA >= 10.2（推荐 11.6），说明应有 NVIDIA GPU 及对应驱动，无 CUDA 环境未说明可运行。

Q：如何获取预训练权重？

A：README 指向 checkpoints.md 与 ModelScope 页面，需从这些渠道下载，未在安装部分给出命令。

注意事项

Apex、xformers、FlashAttention 均为可选，安装失败不影响基础依赖使用。
安装前请确认 PyTorch、CUDA 版本满足要求，避免编译类库失败。
README 未提供本地推理/训练的具体命令，使用前请阅读 Usage 及 checkpoints.md。

核心亮点

统一架构支持视觉、音频、语言三模态联合表示，扩展性强
在图文检索、音文检索等跨模态任务上达到领先效果
提供预训练权重和微调示例，上手门槛低

不足之处

模型参数量较大，推理资源需求高
文档/社区待观察

适用场景

多模态检索系统（如图文、音文匹配）
跨模态理解与生成任务的基础编码器
学术研究：探索统一多模态表示学习

替代项目

CLIP、ImageBind、Data2Vec

项目介绍

ONE-PEACE 是开源模型领域的开源项目，由 OFA-Sys 开发，2023 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（1,060）位列前 30%，在开源模型分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-17。Apache-2.0许可，可免费使用和部署。

它主要面向的使用场景是：多模态检索系统（如图文、音文匹配）。同类可对比的替代方案包括 CLIP、ImageBind、Data2Vec。

上一篇：tabicl

下一篇：nucleotide-transformer