项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 454
使用教程
环境要求
- NVIDIA GPU（显存 16GB 起）
- CUDA 与 conda
安装与启动步骤
-
1拉仓库
官方给的地址是 SSH 形式，没有配密钥就换 HTTPS 那条。
git clone https://github.com/AIDC-AI/Ovis-U1.git -
2建环境
官方指定 Python 3.10，版本不符时依赖装不上。
conda create -n ovis-u1 python=3.10 -y -
3装依赖并装成本地包
两条都要跑，后者才注册模型入口。
pip install -r requirements.txt && pip install -e . -
4先跑纯理解任务
从图片转文字开始，这一步最容易确认权重加载正确。
python test_img_to_txt.py -
5再跑生成与编辑
文本生图与图像编辑各自独立脚本，参数里要指到权重目录。
python test_txt_to_img.py
如何确认成功
同一张图既能被描述出关键物体，也能按指令改掉其中一件物品而其它区域基本不变
注意事项
- 它把理解、生成、编辑合成一个模型，显存占用比单独跑任一任务都高。
- 权重需自行下载，脚本里的默认路径要改成本机实际路径。
- 示例脚本里的输入文件名是占位值，直接跑会报找不到文件。
- 生成结果的许可与底模一致，商用前看模型卡。
核心亮点
- 统一架构，无需切换多个模型即可完成理解、生成和编辑任务
- 支持多模态联合训练，知识共享提升跨任务表现
- 代码开源，便于二次开发和学术研究
不足之处
- 文档/社区待观察
- 早期项目，模型规模和稳定性未经大规模验证
适用场景
- 多模态AI助手，同时处理图像问答和生成需求
- 创意设计工具，快速生成和编辑图像
- 学术研究，探索统一多模态模型架构
替代项目
Emu2、SEED-LLaMA、MiniGPT-4
同类项目推荐
WeMM-Embedding
开源
一套向量搞定图文互搜，多模态检索直接接入
WeMM-Embedding is a family of universal multimodal embedding models by the WeChat Vi···
UniTok
开源
一个 tokenizer 搞定图像生成与理解，让模型更全能
[NeurIPS 2025 Spotlight] A Unified Tokenizer for Visual Generation and Understanding
Awesome-LLM-Enhanced-Recommender···
开源
一榜在手，快速掌握LLM+推荐系统最新研究与应用
[KDD'25] Large Language Model Enhanced Recommender Systems: Methods, Applications an···
buffer-of-thought-llm
开源
给大模型装个思想缓存，复杂推理更准更稳
[NeurIPS 2024 Spotlight] Buffer of Thoughts: Thought-Augmented Reasoning with Large ···
Awesome-TimeSeries-SpatioTempora···
开源
一网打尽时间序列与时空大模型资源，快速跟上前沿。
A professional list on Large (Language) Models and Foundation Models (LLM, LM, FM) f···
EEGMamba
开源
用 Mamba 高效建模脑电长序列，一个模型适配多种 EEG 任务。
[Neural Networks 2025] EEGMamba: An EEG Foundation Model with Mamba
Scientific-LLM-Survey
开源
一文看懂生物化学领域的大模型研究全景
Scientific Large Language Models: A Survey on Biological & Chemical Domains
time-series-ptms
开源
一站式复现和对比时间序列预训练模型，加速研究落地
This is an official implementation code for paper "A Survey on Time-Series Pre-Train···
diffusion-for-beginners
开源
用最简代码，从零搞懂扩散模型原理
denoising diffusion models, as simple as possible