IDvs.MoRec

让推荐模型直接吃透图文音，端到端训练提效果

IDvs.MoRec 是一个面向多模态推荐系统的端到端训练框架，由快手主导开源。它针对当前推荐系统中广泛使用的 ID 序列建模与新兴的多模态内容（如文本、图像、音频）特征融合问题，提出了一套统一的解决方案。项目核心解决的是：在推荐场景中，如何高效地将多模态信息与用户行为序列结合，避免传统两阶段训练（先预训练多模态编码器再训练推荐模型）带来的信息损失和训练效率低下问题。其核心能力包括：支持多种主流多模态骨干网络（如 BERT、ViT）的即插即用接口，提供端到端的联合优化策略，以及针对大规模工业级数据设计的分布式训练方案。通过对比实验，项目验证了在多模态特征充足时，端到端训练能显著提升推荐效果，为多模态推荐的研究和工程实践提供了参考基线。