首页 > 汽车图文 > 汽车图文 > 多模态对齐在小红书推荐的研究及应用

多模态对齐在小红书推荐的研究及应用

发布时间:2024-09-24 16:52:42来源: 13041198719

在 CIKM 2024 上,小红书中台算法团队提出了一种创新的联合训练框架 AlignRec,用于对齐多模态表征学习模型和个性化推荐模型。本文指出,由于多模态模型与推荐模型在训练过程中存在步调不一致问题,导致联合训练被推荐信号主导,从而丢失大量多模态信息。AlignRec 通过分阶段对齐的方式,设计了三种针对性的优化损失函数,使得联合训练能够同时兼顾多模态信息和推荐信息。实验结果表明,AlignRec 在多个数据集上的性能超过了现有的 SOTA(state-of-the-art)模型。此外,AlignRec 还提供了在当前广泛使用的公开数据集亚马逊上的预处理特征,这些特征的效果显著优于现有的开源特征。


最近多模态是个非常热门的话题,尤其是在大模型以及 AIGC 领域,多模态基建和技术是走向未来商业化的奠基石。在过去的多模态大模型研究方向上,模态的“对齐”已经被验证非常重要,分布的不一致损害不同模态的理解,我们此次要讨论的核心问题是多模态在推荐中的对齐问题;

 

在具体介绍论文工作之前,我们先来介绍下我们过去在推荐和电商中的实践工作:

 

推荐实践


上述方法是我们对 BM3论文进行改进 上线的方案,该方案实际上做的是通过损失函数来实现“对齐”工作。我们的对模型的期望也是保留个性化的同时,能够对齐行为和多模态的空间,进一步增加长尾的个性化分发能力。先说效果:

 

该模型实验在推荐发现页取得时长、曝光、点击等核心指标收益,除此之外,在长尾分发上,0 粉作者笔记点击和曝光获得大幅增长,整个召回路增加了全局可分发笔记数 6%,分发笔记集中在 1k-5k 的笔记曝光集合;同时,我们的方法也被复用在了电商场景,分发长尾同时,获得 DGMV 等核心指标收益。

 

很显然,从上述可以看出,“对齐”的效果立竿见影,在业界应用上我们已经取得实质性进展,但本质上这样的设计方案依然并没有完全解决多模态推荐问题,因为我们的多模态模型和推荐模型是相对割裂的,等同于直接拿表征来使用,这样的设计打通了应用范式,却无法判断多模态模型本身能力对效果的上限,对于选择合适多模态表征存在一定的难度。但如果我们引入文本/图等 Encoder(Transformer)等进行联合训练,会引入如下的问题:

 

在大规模的数据下,分布式训练引入图文 Encoder 会造成资源和性能问题,尤其是注重高时效性的 Streaming Data;
训练步调不一致,往往多模态模型需要大量数据甚至多个 Epoch 才能收敛,但推荐模型通常采取单轮训练,这也导致多模态模型训练不充分;

所以我们设计联合训练模型,通过设计分阶段对齐的方式和中间指标评估,解决上述联合训练问题,并且引入了三种针对性的优化损失函数,使得联合训练能够同时兼顾多模态信息和推荐信息,解决联合训练中的“对齐”问题,提升效果上限。

 

下面我们从相关工作,核心挑战,模型设计介绍整体工作。

 

我们在这里通过 (a), (b), (c) 描述了在过往的学术界目前多模态推荐方向的相关工作,总结主要的发展路径:

图(a),直接利用,比如把 embedding,多模态特征作为信号输入网络;
图(b),利用图等方式聚合,希望能得到更丰富的多模态信息表达,这本质上也是增加多模态侧信息的召回率;
图(c),联合优化,把模态损失和行为损失共同优化,但这忽略了本身笔记侧的多模态学习。
在工业界,现阶段推荐系统主要还是依赖于 ID 特征的学习, 大多数多模态推荐把多模态信息作为 sideinfo 去辅助 ID 特征的学习。但是, 多模态之间以及 ID 模型与多模态之间都存在着语义鸿沟, 直接使用甚至可能适得其反。

 

核心挑战

为了贴合业界实际,设计一款有效的多模态与推荐联合训练模型会遇到如下的挑战:

 

挑战1: 如何对齐多模态表征。包括内容模态之间(如图文)的对齐,以及内容模态与 ID 模态之间的对齐;
挑战2: 如何平衡好内容模态和 ID 模态之间的学习速度问题。内容模态可能需要超大规模的数据和时间去训练, 而 ID 模态的学习更新可能只需要几个 epoch。
挑战3: 如何评估多模态特征对推荐系统的影响。引入不合适的多模态信息可能需要更多的精力去做纠正, 甚至可能影响推荐系统的性能。

我们所提出的方法命名为 AlignRec,整体框架如下图所示, 主要包含3个模块: Multimodal Encoder Module, Aggregation Module, 以及 Fusion Module, 下面分别进行介绍。


Multimodal Encoder Module

 

汽车图文更多>>

新合资时代来临,核心竞争力是什么?东风Honda迎转型关键期 奥迪Q7极寒穿越 RS系列冰雪漂移!奥迪quattro太稳啦 是谁还在买四驱油车?零下30℃试驾第五代胜达 比亚迪夏强势登场,别克GL8家用车市场霸主地位受挑战? 日本的国民神车,现在中国也有了 续航升级+皇后座椅,理想L9值得拥有吗? 李云飞:比亚迪30周年1000万辆,背后的原因是什么? 东风Honda转型加速,新合资时代下的核心竞争力何在? 深度体验方程豹汽车豹5,全场景满足用车需求,值不值得入手? 新能源大六座SUV即将迎来爆发期 这三款新车先睹为快 “豹”款越野,方盒子+电四驱,搭1.5T插混,配云辇-P,值得买? 领克900亮相背后:百亿投资SPA Evo 大型电混SUV如何更领克? 2024年,特斯拉从“神坛跌落”后,外资车全线崩溃 大变革时代,如何稳健前行穿越周期?吉利详解《台州宣言》 2024年国内汽车召回排行及热点回顾 23.1万辆,坦克品牌2024再创佳绩,中国高端越野让世界瞩目 1-4月仅售23214辆,Model 3欧洲销量腰斩!价格过高、竞争加剧 新款腾势D9售价或将调整,新增车顶激光雷达,动力大升级至115kW 领克Z20首创流光尾翼+百变灵动岛,4.5C闪充15分钟,能补能370+km 18.98万起售,配纯电动力,比亚迪海狮07 EV实力如何 13.13万就能买奔驰车?定位紧凑型,奔驰A级怎么样 13.58万起售,细分市场销量第二?如今宋L DM实力如何 15.58万起售!被称为“满级大型越野皮卡”的星际X,究竟怎么样? 别克GL8 ES陆尊对比丰田赛那,谁才是30万+级MPV界的王者? 2024年度高品质微型纯电车典范,零跑T03何以脱颖而出? 城市纯电SUV新秀,大厂出品,一汽奔腾悦意03抢先看 启辰技术开放日揭秘:全生命周期零自燃,究竟如何炼成? Robotaxi混合运营,打造家门口的自动驾驶 两厢车为何不用混动和增程技术,纯电动的续航能力不令人担心吗? 本田新一代混动技术来袭,冠道将搭载,能否撼动汉兰达地位?