IDvs.MoRec

让推荐模型直接吃透图文音，端到端训练提效果

IDvs.MoRec 是一个面向多模态推荐系统的端到端训练框架，由快手主导开源。它针对当前推荐系统中广泛使用的 ID 序列建模与新兴的多模态内容（如文本、图像、音频）特征融合问题，提出了一套统一的解决方案。项目核心解决的是：在推荐场景中，如何高效地将多模态信息与用户行为序列结合，避免传统两阶段训练（先预训练多模态编码器再训练推荐模型）带来的信息损失和训练效率低下问题。其核心能力包括：支持多种主流多模态骨干网络（如 BERT、ViT）的即插即用接口，提供端到端的联合优化策略，以及针对大规模工业级数据设计的分布式训练方案。通过对比实验，项目验证了在多模态特征充足时，端到端训练能显著提升推荐效果，为多模态推荐的研究和工程实践提供了参考基线。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 169

维护状态低维护

是否开源是

定价模式 free

项目预览

项目数据

分类开源模型

开发团队westlake-repl

所属国家

官网地址

GitHubhttps://github.com/westlake-repl/IDvs.MoRec

定价模式free

价格说明开源项目，Apache-2.0许可证，可免费使用和部署。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型end-to-end,foundation-models,foundation-recommendation-model,image-recommendation,large-language-model,llm,llm-recommendation,modality-based-recommendation,multimodal,multimodal-deep-learning,multimodal-recommendation,multimodal-recommendation-dataset,text-recommendation,transferable-recommendation

GitHub 星标★ 169

30天Star增速

HF 下载量

上线时间2023-04-13 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

提供端到端训练范式，避免多模态特征与推荐模型分离训练导致的信息损耗
集成多种主流多模态编码器（如BERT、ViT），便于快速替换和实验对比
基于快手工业级场景验证，代码结构清晰，适合作为研究基线

不足之处

文档和社区支持尚不完善，上手可能需要一定代码阅读成本
项目处于早期阶段，功能迭代和稳定性有待观察

适用场景

短视频/直播平台的内容推荐，融合封面图、标题文本和音频特征
电商商品推荐，利用商品图片和描述文本提升冷启动效果
学术研究：对比不同多模态融合策略对推荐精度的影响

替代项目

MMRec、FuxiCTR、DeepCTR

项目介绍

IDvs.MoRec 是行业应用领域的开源项目，由 westlake-repl 开发，2023 年首次发布。

它收录于行业应用分类，该分类目前共有 585 个项目，GitHub 星标数为 169。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2025-02-02。Apache-2.0许可证，可免费使用和部署。

它主要面向的使用场景是：短视频/直播平台的内容推荐，融合封面图、标题文本和音频特征。同类可对比的替代方案包括 MMRec、FuxiCTR、DeepCTR。

上一篇：SaprotHub

下一篇：ssl-wearables