Otter

让开源多模态模型听懂指令，看图说话更听话

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 209 🐛 待处理 65 👀 关注 79

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 3442

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源模型，MIT许可证，可免费使用和部署。

项目预览

项目数据

分类开源模型

开发团队EvolvingLMMs-Lab

官网地址https://otter-ntu.github.io

GitHubhttps://github.com/EvolvingLMMs-Lab/Otter

定价模式🏷️完全免费

价格说明开源模型，MIT许可证，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型artificial-inteligence,chatgpt,deep-learning,embodied-ai,foundation-models,gpt-4,instruction-tuning,large-scale-models,machine-learning,multi-modality,visual-language-learning

GitHub 星标★ 3442

上线时间2023-04-01 00:00:00

代码更新2024-03-05

仓库体积7.6 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数5

项目介绍

Otter是一个基于OpenFlamingo的多模态模型，旨在提升视觉-语言任务的指令跟随和上下文学习能力。它针对DeepMind Flamingo的开源版本进行了优化，并在MIMIC-IT数据集上训练，该数据集包含丰富的指令-图像-文本对。Otter的核心能力包括：在给定图像和文本提示时生成相关响应，支持少样本上下文学习，能根据用户指令灵活调整输出风格。它解决了开源多模态模型在指令理解和交互性上的不足，使研究者能基于其进行微调和部署。项目提供模型权重、训练代码和推理示例，降低了多模态AI的入门门槛。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3442

技术标签

chatgpt deep-learning embodied-ai foundation-models gpt-4

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：高级约 30 分钟部署方式：模型权重 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（README 未指定版本，项目语言为 Python）
可访问 HuggingFace 的网络；中国大陆用户可使用 OpenXLab 镜像
足够的磁盘与显存用于存放 7B 级多模态模型权重
能访问 GitHub 仓库 EvolvingLMMs-Lab/Otter 获取代码与文档

安装与启动步骤

1克隆项目仓库

从 GitHub 拉取 Otter 源码，README 中说明所有开源代码均已测试且可运行。
```
git clone https://github.com/EvolvingLMMs-Lab/Otter.git
```
2进入项目目录

切换到克隆下来的工程目录，后续操作均在此目录下进行。
```
cd Otter
```
3下载图像模型权重

README 提供的图像模型 Checkpoint 为 luodian/OTTER-Image-MPT7B，在其 HuggingFace 页面下载权重文件。
4下载视频模型权重

如需视频密集描述任务，下载 README 给出的 luodian/OTTER-Video-LLaMA7B-DenseCaption 权重。
5国内镜像下载

中国大陆用户可在 OpenXLab 的 YuanhanZhang/OTTER-Image-MPT7B 模型页获取同样的权重。
6查看 OtterHD 文档

若使用 OtterHD-8B（基于 Fuyu-8B 微调），阅读仓库 docs/OtterHD.md 了解用法。