项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 228
核心亮点
- 模块化设计，视觉和文本编码器可复用，扩展新任务成本低
- 统一支持理解和生成任务，覆盖检索、问答、描述等多种场景
- 在图像、视频多个基准上达到SOTA，论文发表于ICML 2023
不足之处
- GitHub星标仅227，社区活跃度低，文档和示例可能不够完善
- 模型规模较大，推理资源需求高，不适合轻量级部署
适用场景
- 跨模态检索：用文字搜图片或视频
- 视觉问答与图像/视频描述生成
- 多模态对话系统或内容理解平台
替代项目
OFA、Flamingo、BLIP-2
上一篇：tapestry
下一篇：time-series-ptms
同类项目推荐
Otter
开源
让开源多模态模型听懂指令，看图说话更听话
Otter, a multi-modal model based on OpenFlamingo (open-sourced version of DeepMind's···
VisionLLM
开源
让视觉模型听懂人话，直接对话图像内容
VisionLLM Series
awesome-llm-os
开源
一网打尽大模型操作系统资源，快速跟上前沿趋势
A curated list of awesome resources, tools, research papers, and projects related to···
HRM
开源
让AI学会分步思考，复杂推理不再翻车
Hierarchical Reasoning Model Official Release
Awesome-Efficient-Reasoning-LLMs
开源
让大模型少想快答，推理效率提升指南
[TMLR 2025] Stop Overthinking: A Survey on Efficient Reasoning for Large Language Mo···
Awesome-RL-for-Video-Generation
开源
一榜在手，快速掌握强化学习驱动视频生成的前沿论文
A curated list of papers on reinforcement learning for video generation
muse-maskgit-pytorch
开源
用掩码Transformer并行生成图像，速度远超扩散模型
Implementation of Muse: Text-to-Image Generation via Masked Generative Transformers,···
AnyGPT
开源
让一个模型搞定文本、图像、语音、音乐的任意互转
A unified multimodal language model based on discrete sequence modeling
cell2sentence
开源
把细胞变成句子，让大模型直接读懂单细胞
Cell2Sentence: Teaching Large Language Models the Language of Biology