生成推荐系统与京东联盟广告总结及应用

大型语言模型(LLM)正在深刻地影响自然语言处理(NLP)领域,其强大的处理各种任务的能力也为其他领域的从业者带来了新的探索路径。推荐系统(RS)作为解决信息过

一、背景

生成式推荐系统

生成推荐系统直接生成推荐或推荐相关内容,无需一一计算每个候选人的排名分数[25]。

由于实际系统中物料(物品)数量巨大,传统RS通常采用多级过滤范式,包括召回、粗排序、精排序、重排列等过程。首先,使用一些简单有效的方法(例如,基于规则/策略)。过滤)将候选材料的数量从千万甚至上亿减少到数百,然后对这些材料应用更复杂的推荐算法,进一步选择更少数量的材料进行推荐。受限于响应时间要求,复杂的推荐算法并不适合所有大规模的素材。

LLM的生成能力有可能重塑RS。与传统RS相比,生成式推荐系统具有以下优点:1)简化推荐过程。 LLM可以直接生成待推荐的材料,而不需要计算候选集中每个材料的排名分数,实现了从多级过滤范式(discriminative-based,discriminative)到单级过滤范式(generative-based,generative-based)的转变)。 LLM 在每个解码步骤生成一个向量,表示所有可能标记的概率分布。经过几个解码步骤,生成的令牌可以形成代表目标材料的完整标识符。该过程隐式枚举所有候选材料以生成推荐的目标材料[25]。 2)具有较好的通用性和稳定性。利用LLM中的世界知识和推理能力,在冷启动和新用户、新材料的新领域场景下取得更好的推荐和迁移效果。同时,与传统RS相比,生成式推荐系统方法也更加稳定和可重用。随着场景和业务的变化,特征处理策略会变小,训练数据量会变小,模型更新频率会变低。

•图1.传统推荐系统与基于LLM的生成推荐系统的流程比较[25]

京东联盟广告

京东联盟是京东旗下的联盟营销平台,主要投放站外CPS广告。联盟合作伙伴通过生成的链接在其他网站或社交媒体平台上推广京东产品,并引导用户点击这些链接并在京东购物,从而赚取销售佣金(佣金)。京东联盟以此吸引流量,扩大平台的知名度和与用户的接触范围,达到吸引新用户、促进活跃度等目标。

联盟广告推荐主要针对低活跃度用户进行多场景推荐。此类建议面临以下挑战: 1)数据稀疏:低活跃用户提供的数据较少,导致数据稀疏问题更加明显。数据不足使得传统的基于ID的推荐模型难以充分表征材料和用户,从而影响推荐系统的预测准确性。 2)冷启动问题:对于新用户或者活跃度较低的用户,冷启动问题尤为严重。由于缺乏足够的历史交互数据,推荐系统很难为这些用户做出有效的个性化推荐。 3)场景理解困难:在多场景推荐系统中,了解用户在不同场景下的具体需求尤为关键。对于低活跃度的用户,由于交互数据有限,推荐系统更难识别不同场景下用户行为的差异和需求的变化。 4)多样性和新颖性:保持推荐内容的多样性和新颖性对于吸引低活跃用户至关重要。然而,由于这些用户的知识有限,推荐系统很难平衡推荐的准确性和多样性。

京东联盟广告+生成式推荐系统

将法学硕士纳入推荐系统的主要优势是能够提取高质量的文本表示并利用其中编码的世界知识来理解和推荐用户和材料。与传统的推荐系统不同,基于LLM的模型擅长捕获上下文信息,更有效地理解用户信息、素材描述和其他文本数据。通过理解上下文,生成推荐系统可以提高推荐的准确性和相关性,从而提高用户满意度。同时,面对历史交互数据有限带来的冷启动和数据稀疏问题,LLM还可以通过零/少样本推荐能力为推荐系统带来新的可能性。这些模型可以推广到未见过的新材料和新场景,因为它们经过事实信息、领域专业知识和常识推理的广泛预训练,并且具有良好的迁移和可扩展能力。

可见,京东联盟广告是生成推荐系统天然的应用领域。

二、生成式推荐系统的四个环节

为了实现上述范式转变,有四个基本环节需要考虑[26]: 1)材料表示:在实践中,直接生成材料(文档或产品描述)几乎是不可能的。因此,需要一个简短的文本序列,即材料标识符来表示材料。 2)模型输入表示:通过提示词定义任务,将用户相关信息(例如用户画像、用户历史行为数据)转换为文本序列。 3)模型训练:一旦确定了生成模型的输入(用户表示)和输出(材质标识符),就可以基于Next Token Prediction任务实现训练。 4)模型推理:经过训练,生成的模型可以接收用户信息来预测对应的素材标识符,并且该素材标识符可以与数据集中的真实素材相对应。

尽管整个过程看似简单,但实施有效的生成建议并不容易。上述四个环节有很多细节需要考虑和平衡。下面从四个方面对现有工作的应用和探索进行详细回顾:

物料表示

推荐系统中的标识符是一系列标记,可以唯一地标识一个实体,例如用户或项目。标识符可以采取各种形式,例如嵌入、数字标记序列和单词标记序列(包括项目标题、项目描述,甚至完整的新闻文章),只要它能够唯一地识别实体[25]。

推荐系统中的材料通常包含来自不同模式的各种信息,例如视频缩略图、音乐音频和新闻标题。因此,材料标识符需要在文本空间中显示每种材料的复杂特征,以进行生成推荐。一个好的材质标识符构建方法至少应该满足两个标准:1)保持合适的长度,以缓解文本生成的难度。 2)将先验信息融入到素材索引结构中,保证相似项共享最多token同时可区分,不相似项共享token最少。以下是构建项目标识符的几种方法:

(1)数字ID(数字ID)

由于数字在传统RS 中广泛使用,因此一种简单的策略是在生成推荐系统中也使用数字ID 来表示项目。传统RS将每个材质ID视为一个独立且完整的令牌,无法进一步划分。如果将这些标记添加到模型中,1)需要大量内存来存储每个标记的向量表示,2)足够的数据来训练这些向量表示。为了解决这些问题,生成推荐系统将数字ID划分为多个token的序列,使得用有限的token代表无限的素材成为可能。为了有效地将材料表示为标记序列,现有的工作探索了不同的策略。 1)顺序索引:基于时间顺序,用连续的数字来表示素材,例如“1001、1002、……”,可以捕获与同一用户交互的素材的共现情况(基于分词时) SentencePiece分词器,“1001”和“1002”分别被分割为“100”“1”和“100”“2”)。 2)协同索引:基于共现矩阵或协同过滤信息构建素材标识符,使得共现次数较多的素材或者交互数据相似的素材具有相似的标识符前缀。尽管在生成推荐系统中使用数字ID 是有效的,但它通常缺乏语义信息,因此会遇到冷启动问题,并且无法利用LLM 中编码的世界知识。

(2)文本元数据

为了解决数字ID中语义信息缺乏的问题,一些研究工作利用了材料的文本元数据,例如电影标题、产品名称、书名、新闻标题等。当与LLM结合时,世界知识LLM 编码可用于更好地了解材料特性。但这种方法存在两个问题:1)当材质表示文本很长时,生成的计算成本会很高。此外,长文本很难在数据集中找到精确匹配;仔细检查每个长文本的存在或相关性将使我们回到歧视性推荐的范式,因为我们需要计算与数据集中每个项目的匹配分数。 2)虽然自然语言是一种强大的表达媒介,但在许多情况下它也可能是模糊的。两个不相关的项目可能具有相同的名称,例如,“苹果”既可以是一种水果,又可以是对苹果公司的特定引用,而两个密切相关的项目可能具有不同的标题,例如数据挖掘中的众所周知的名称。 “啤酒和尿布”示例[25]。

(3)语义ID(Semantic-based ID,SID)

为了同时获得语义和判别性的材质标识符,现有方法主要通过以下方式对材质向量进行离散化:1)基于RQ-VAE模型[8]。 RQ-VAE模型由三部分组成:编码器、残差量化和解码器。其输入是从预训练语言模型(例如LLaMA [9]和BERT [28])中提取的材料语义表示,输出是材料对应关系。令牌序列。在这个分支中,TIGER[7]是一个代表作品。它通过素材的文本描述生成对应的token序列,并将token序列命名为语义ID。 LC-Rec[4]设计了多种用于微调LLM的任务,旨在实现语义ID与用户交互数据或材料文本描述的语义对齐。这两种方法首先将材料的语义相关性捕获为标识符,即具有相似语义的项目将具有相似的标识符。然后,将通过推荐数据的训练来优化标识符表示以获得交互相关性。相比之下,LETTER [6] 通过集成分层语义、协作信号和编码分配的多样性来构建高质量的材料标识符。 2)基于语义层次聚类方法。 ColaRec[1]首先使用协作模型对素材进行编码,并使用k-means聚类算法对素材进行层次聚类,以分类类别作为素材标识符,然后将素材语义信息和交互信息进行精细对齐。调优任务。 Hi-Gen[5]在获取素材标识符的阶段同时考虑交互信息和语义信息,并使用度量学习来融合两类信息。

(四)总结

上述三类表示方法的比较如下:

表1. 不同离散材料表示方法的比较

模型输入表示

在生成推荐系统中,模型输入由以下三部分组成:任务描述、用户信息、上下文和外部信息。其中,用户信息主要包括用户历史交互数据和用户画像。

(一)任务说明

为了利用生成模型的理解能力,任务描述主要用来指导生成模型完成推荐任务,即将推荐任务建模为对下一个item的预测(类似于语言模型的Next Token Prediction,这里是Next Item Prediction)。任务描述定义了提示词模板并将可用数据嵌入其中。例如,“这是一个用户的历史交互数据:{历史行为},他的偏好如下:{偏好},请提供推荐。”同时,用户的历史交互数据和偏好被用作模型输入内容[26]。

(2) 用户历史交互数据

用户的历史交互数据在推荐系统中起着至关重要的作用。这种交互数据隐含地传达了用户对材料的偏好。用户历史交互数据的表示与上面介绍的素材表示密切相关。现有的方法将其表示为: 1)材料数字ID序列。材料数字ID被LLM处理为纯文本,并被分词器分成多个标记。 2)材料文本序列。素材文本元数据被拼接并输入到预训练的语言模型中。语言模型可以基于世界知识对材料之间的相关性进行建模。 3)素材文本向量加素材ID向量序列。 LLaRA[2]将素材ID向量拼接在素材标题向量之后,以补充来自协作模型的交互信息。

(三)用户画像

为了增强用户建模,集成用户画像(例如用户的基本信息和偏好信息)是推荐系统中对用户特征进行建模的有效方法。大多数情况下,用户的基本信息(例如性别)可以直接从在线推荐平台获取。该用户信息可以与描述性文本相结合,例如“用户描述:女性,25-34岁,从事销售/营销领域工作”[26]。然而,由于用户隐私问题,获取用户画像可能具有挑战性,导致一些研究直接使用用户ID或ID向量[3]进行用户建模。

(4) 背景和外部信息

上下文信息(例如位置、场景和时间)可能会影响用户决策,例如,在户外产品推荐中,用户可能更倾向于购买帐篷而不是水龙头。因此,通过在法学硕士中融入时间等上下文信息,可以实现有效的用户理解。此外,外部知识也可用于增强生成推荐模型的性能,例如用户-项目交互图中的结构化信息。

生成推荐系统与京东联盟广告总结及应用

模型训练

在推荐数据上训练生成推荐模型涉及两个主要步骤:文本数据构建和模型优化[26]。文本数据构建将推荐数据转换为具有文本输入和输出的样本,其中输入和输出的选择取决于任务定义和材料表示方法。基于数字ID和文本元数据的素材表示方法可以直接构造文本数据,而基于语义ID的方法需要基于向量的学习和获取素材标识符。就模型优化而言,给定输入和输出数据,生成模型的训练目标是最大化给定输入预测输出的条件可能性。

对于生成式推荐系统来说,“训练用户对素材标识符的训练”是主要任务,即输入由用户构造,输出是下一个素材的标识符。基于数字ID 和文本元数据的方法利用此任务进行模型训练。对于基于语义ID的方法,由于语义ID与自然语言之间的差距,一般采用以下辅助任务来增强素材文本与标识符之间的对齐[4]:1)“素材文本到素材标识符的训练” “ ”或“将材料标识符训练为材料文本”。对于每个训练样本,输入输出对包括相同材料的标识符和文本内容,它们可以互换用作输入或输出。 2)“对用户进行材料文本培训”。通过将用户信息与下一个项目的文本内容配对,隐式对齐项目标识符和项目文本。对于训练LLaMA这样的大型语言模型,可以采用多种策略来提高训练效率,例如参数的高效微调、模型蒸馏、推荐数据筛选等。

模型推理

为了实现素材推荐,生成推荐系统需要在推理阶段对生成的结果进行定位,即实现生成的素材标识符与数据集中的素材之间的有效关联。给定用户输入表示,生成推荐系统首先通过波束搜索自回归生成材料标识符。这里的生成方法分为两种:自由生成和限制生成[26]。对于自由生成,在每个解码步骤中,模型都会搜索整个词汇表并选择概率最高的前K 个标记(K 值取决于束搜索中定义的束大小)作为下一代的输入。然而,搜索整个词汇表可能会导致数据集中不存在的标识符,从而导致推荐无效。

为了解决这个问题,早期的工作使用了材料位置的精确匹配,即执行自由生成并简单地丢弃无效标识符。尽管如此,由于标识符无效,尤其是基于文本元数据的标识符,它们仍然存在准确性较低的问题。为了提高准确性,BIGRec[23]提出通过生成的令牌序列的表示与材料表示之间的L2距离将生成的标识符定位到有效材料。这样,每个生成的标识符都保证位于有效的材料上。同时,在推理阶段也使用了限制生成。例如,使用Trie(前缀树)或FM-index进行限制生成,以保证标识符的有效生成。

除了预测下一个材料等典型推荐任务外,您还可以充分利用自由生成来生成新的材料描述或预测下一个N 材料。

现有工作总结

当前生成推荐系统的代表性工作(RecSysLLM[22]、P5[20][24]、How2index[18]、PAP-REC[17]、VIP5[19]、UniMAP[27]、TIGER[7] 、LC-Rec[4]、TransRec[16]、M6-Rec[21]、 BIGRec[23]、LMRecSys[10]、NIR[12]、RecRanker[13]、InstructRec[11]、Rec-GPT4V[14]、DEALRec[15])可以总结为:

表2.生成推荐系统的代表性工作[26]

三、实践方案

总体设计

基于现有工作的研究和总结,我们的解决方案基于“基于语义ID的材料表示”和“对齐协作信息和文本信息的训练任务”:

图2 总体设计框架图

功能模块

(1) 基于语义ID(SID)的材质表示

材质文字描述:根据产品标题表示材质。

素材向量:分别通过预训练的bert-base-chinese和Yi-6B提取文本描述对应的向量。向量维度为768 (bert-base-chinese) 和4096 (Yi-6B)。

材料SID:基于RQ-VAE模型量化材料矢量。 RQ-VAE模型由三部分组成:编码器、残差量化和解码器。它的输入是从预训练的语言模型中提取的向量,输出是素材对应的SID序列。对于有冲突的数据,我们采用了两种方法。一是不处理,即一个SID对应多个产品;另一种是使用TIGER解决方案,为冲突产品添加随机维度,使一个SID唯一。对应一个产品。例如产品“ThinkPad联想ThinkBook 14+ 2024 14.5英寸轻薄英特尔酷睿超AI全能高性能独立显卡商务办公笔记本电脑”可表示为:a_99b_225c_67d_242或a_99b_225c_67d_242e_0。

图3 RQ-VAE模型图[8]

(2) 对齐协作信息和文本信息的训练任务

下一个项目预测:推荐系统的主要任务是针对给定的用户描述(用户画像+历史交互数据)预测下一个推荐项目。

附加对齐:由于之前SID和自然语言之间的差距,通过附加对齐训练,建立了素材SID和素材文本描述之间的联系,包括从SID到文本描述和文本描述到SID两个双向任务。

四、离线与在线实验

训练数据

(1) 下一项预测

{ ‘instruction’: ‘用户性别为女性,年龄为46-55岁,婚姻状况为已婚,是否生育情况未知。用户按时间顺序单击了以下项目:a_112b_238c_33d_113、a_73b_50c_228d_128、a_20b_251c_30d_178、a_142b_216c_7d_136、a_190b_171c_15d_201、 a_72b_160c_20d_2 48、a_158b_101c_54d_107、a_175b_4c_75d_138、a_142b_20c_175d_136、a_210b_166c_67d_44、a_10b_89c_96d_143、 a_27b_45c_21d_212、a_142b_2 7c_192d_159,你能预测用户接下来可能会点击的产品吗? ‘, ‘response’: ‘a_96b_113c_49d_174’} (2) 项目和SID 对齐1 – SID2Title

{ ‘instruction’: ‘产品a_99b_225c_67d_242的标题是什么? ‘,’回复’:’ThinkPad联想ThinkBook 14+ 2024 14.5英寸轻薄英特尔酷睿ultra AI全能高性能独立显示商务办公笔记本电脑Ultra5 125H 32G 1T 3K屏高刷新屏’} (3)项及SID 对齐2 – Title2SID

{ ‘instruction’: ‘哪个产品的标题是’ss109威震天变身MP威震天玩具天空金刚飞机动力男孩机器人战斗机模型合金威震天战机(战损涂装版)’? ‘, ‘response’: ‘a_91b_24c_66d_5’}

基座模型、训练及推理

(1) 基础型号: Qwen1.5-0.5B/1.8B/4B 和Yi-6B

(2)根据SID添加新的token并使用交互数据进行训练

(3) 采用基于波束搜索的受限解码策略,波束大小=20

(4)实验方式:离线实验+线上小流量实验

(5)线下评价指标:HR@1,5,10; NDCG@1,5,10

(6)在线评价指标:UCTR

实验结果

(1)离线实验——同一基础模型不同参数尺度对比:

生成推荐系统与京东联盟广告总结及应用

对比0.5B/1.8B/4B的结果可以看出,模型参数数量越多,处理多任务的能力越强,评价指标值越高;

由于0.5B模型能力较弱,不适合处理多任务数据,因此在单任务上训练的模型相比混合任务提升了8倍;

当离线训练和测试数据存在3个月的时间差时,模型的性能仍然令人印象深刻。

(2)离线实验——中不同基础模型的对比:

Yi-6B模型在不使用受限解码的情况下具有最佳性能;

经过微调的Yi-6B 具有更好的遵循指令的能力,并且可以执行下一项预测和标题文本生成。

(3)离线实验——与协同模型结果对比:

相同数据规模和数据预处理情况下,Yi-6B模型表现更好;

过滤稀疏数据后训练出的协同模型效果将得到显着提升。传统模型对数据和特征的处理方式更加敏感。

(4)在线小流量实验:

多个置信站外页面的低流量实验表明,基于生成模型的基础版本可以达到与传统多通道召回+排名top1推荐相同的UCTR结果,并且在某些页面上甚至更好,具有UCTR +5% 或更多。

更适合数据稀疏、用户行为不丰富的场景。

五、优化方向

在生成推荐系统中,构建高质量的数据集是实现准确推荐的关键。在素材表示和输入输出数据构建层面,基于联盟场景的特点,将语义信息、多模态信息和协作信息相结合,可以显着提高素材表示的准确性和相关性。

为了支持RQ-VAE的稳定训练和语义ID的增量推理,需要开发可扩展的SID训练和推理框架,以保证语义ID能够快速适应物质变化。

此外,优化基本模型是提高生成推荐系统性能的另一个关键领域。通过结合训练任务并采用多种训练方法,如多LoRA技术和混合数据策略,可以进一步增强模型的性能。推理加速也是优化的一个重要方面。通过模型蒸馏、剪枝、量化等技术,可以提高系统的响应速度和效率。同时,基础模型的选择和变化也是不断追求优化效果的一部分。

未来可以考虑引入搜索查询内容,进行集成搜索和推送建模。另外,用户推荐原因生成、用户偏好生成等任务的引入可以丰富系统的功能,提高用户的交互体验。

我们的目标是通过不断的技术创新,推动推荐系统的发展,实现更加高效、个性化的用户服务。欢迎对该领域感兴趣的合作伙伴加入我们,共同探索生成推荐系统技术的未来。

六、参考文献

1.王Y,任Z,孙W,等。通过内容和协作集成增强生成推荐[J]. arXiv 预印本arXiv:2403.184

80, 2024.

2.Liao J, Li S, Yang Z, et al. Llara: Large language-recommendation assistant[J]. Preprint, 2024.

3.Zhang Y, Feng F, Zhang J, et al. Collm: Integrating collaborative embeddings into large language models for recommendation[J]. arXiv preprint arXiv:2310.19488, 2023.

4.Zheng B, Hou Y, Lu H, et al. Adapting large language models by integrating collaborative semantics for recommendation[J]. arXiv preprint arXiv:2311.09049, 2023.

5.Wu Y, Feng Y, Wang J, et al. Hi-Gen: Generative Retrieval For Large-Scale Personalized E-commerce Search[J]. arXiv preprint arXiv:2404.15675, 2024.

6.Wang W, Bao H, Lin X, et al. Learnable Tokenizer for LLM-based Generative Recommendation[J]. arXiv preprint arXiv:2405.07314, 2024.

7.Rajput S, Mehta N, Singh A, et al. Recommender systems with generative retrieval[J]. Advances in Neural Information Processing Systems, 2024, 36.

8.Zeghidour N, Luebs A, Omran A, et al. Soundstream: An end-to-end neural audio codec[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2021, 30: 495-507.

9.Touvron H, Lavril T, Izacard G, et al. Llama: Open and efficient foundation language models[J]. arXiv preprint arXiv:2302.13971, 2023.

生成推荐系统与京东联盟广告总结及应用

10.Zhang Y, Ding H, Shui Z, et al. Language models as recommender systems: Evaluations and limitations[C]//I (Still) Can’t Believe It’s Not Better! NeurIPS 2021 Workshop. 2021.

11.Zhang J, Xie R, Hou Y, et al. Recommendation as instruction following: A large language model empowered recommendation approach[J]. arXiv preprint arXiv:2305.07001, 2023.

12.Wang L, Lim E P. Zero-shot next-item recommendation using large pretrained language models[J]. arXiv preprint arXiv:2304.03153, 2023.

13.Luo S, He B, Zhao H, et al. RecRanker: Instruction Tuning Large Language Model as Ranker for Top-k Recommendation[J]. arXiv preprint arXiv:2312.16018, 2023.

14.Liu Y, Wang Y, Sun L, et al. Rec-GPT4V: Multimodal Recommendation with Large Vision-Language Models[J]. arXiv preprint arXiv:2402.08670, 2024.

15.Lin X, Wang W, Li Y, et al. Data-efficient Fine-tuning for LLM-based Recommendation[J]. arXiv preprint arXiv:2401.17197, 2024.

16.Lin X, Wang W, Li Y, et al. A multi-facet paradigm to bridge large language model and recommendation[J]. arXiv preprint arXiv:2310.06491, 2023.

17.Li Z, Ji J, Ge Y, et al. PAP-REC: Personalized Automatic Prompt for Recommendation Language Model[J]. arXiv preprint arXiv:2402.00284, 2024.

18.Hua W, Xu S, Ge Y, et al. How to index item ids for recommendation foundation models[C]//Proceedings of the Annual International ACM SIGIR Conference on Research and Development in Information Retrieval in the Asia Pacific Region. 2023: 195-204.

19.Geng S, Tan J, Liu S, et al. VIP5: Towards Multimodal Foundation Models for Recommendation[C]//Findings of the Association for Computational Linguistics: EMNLP 2023. 2023: 9606-9620.

20.Geng S, Liu S, Fu Z, et al. Recommendation as language processing (rlp): A unified pretrain, personalized prompt & predict paradigm (p5)[C]//Proceedings of the 16th ACM Conference on Recommender Systems. 2022: 299-315.

21.Cui Z, Ma J, Zhou C, et al. M6-rec: Generative pretrained language models are open-ended recommender systems[J]. arXiv preprint arXiv:2205.08084, 2022.

22.Chu Z, Hao H, Ouyang X, et al. Leveraging large language models for pre-trained recommender systems[J]. arXiv preprint arXiv:2308.10837, 2023.

23.Bao K, Zhang J, Wang W, et al. A bi-step grounding paradigm for large language models in recommendation systems[J]. arXiv preprint arXiv:2308.08434, 2023.

24.Xu S, Hua W, Zhang Y. Openp5: Benchmarking foundation models for recommendation[J]. arXiv preprint arXiv:2306.11134, 2023.

25.Li L, Zhang Y, Liu D, et al. Large language models for generative recommendation: A survey and visionary discussions[J]. arXiv preprint arXiv:2309.01157, 2023.

26.Li Y, Lin X, Wang W, et al. A Survey of Generative Search and Recommendation in the Era of Large Language Models[J]. arXiv preprint arXiv:2404.16924, 2024.

用户评论

生成推荐系统与京东联盟广告总结及应用
風景綫つ

这个推荐系统总结写得真不错,特别是京东联盟广告的应用分析,让我对两者之间的关系有了更深的理解。

    有5位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
坠入深海i

京东联盟的广告效果怎么样?这篇总结里有没有具体的数据支持啊?很想看看实际的应用效果。

    有7位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
心亡则人忘

生成推荐系统和京东联盟的结合,感觉未来电商广告会越来越精准,这篇总结分析得挺到位的。

    有11位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
命里缺他

我一直在用京东,这篇总结让我对他们的广告策略有了新的认识,谢谢分享。

    有6位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
哭着哭着就萌了°

推荐系统与京东联盟的广告总结,感觉像是打开了一扇新的大门,期待看到更多这样的应用案例。

    有13位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
酒笙倾凉

这篇总结里提到的生成推荐系统挺有意思的,不过京东联盟的广告效果我还有点疑问。

    有12位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
搞搞嗎妹妹

对于新手来说,这篇总结太有帮助了,特别是关于推荐系统与京东联盟结合的部分,学到了不少。

    有17位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
放血

京东联盟的广告投放是不是会根据用户的浏览习惯来调整?这篇总结里提到了吗?

    有11位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
你是梦遥不可及

看了这篇总结,对生成推荐系统有了更深入的了解,不过对京东联盟的广告效果还是有点怀疑。

    有15位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
空谷幽兰

这篇总结让我对电商广告有了全新的认识,尤其是推荐系统在京东联盟中的应用,太实用了。

    有5位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
剑已封鞘

京东联盟的广告投放效果怎么样?这篇总结里有没有提到一些失败的案例?想了解一下。

    有8位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
小清晰的声音

这篇总结详细分析了生成推荐系统和京东联盟广告的结合,感觉对电商运营很有帮助。

    有18位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
軨倾词

对推荐系统不太了解,这篇总结通俗易懂,让我对京东联盟的广告投放有了新的认识。

    有5位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
╭摇划花蜜的午后

这篇总结里的案例分析让我对推荐系统有了更直观的理解,不过对京东联盟的广告效果还是有点担忧。

    有12位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
孤岛晴空

推荐系统与京东联盟的结合,感觉未来电商广告会越来越智能化,这篇总结让我对技术发展有了新的期待。

    有14位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
太易動情也是罪名

这篇总结让我对京东联盟的广告投放策略有了新的认识,不过对生成推荐系统的实现原理还是不太明白。

    有11位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
安之若素

这篇总结里的应用案例让我对推荐系统与京东联盟的结合有了更具体的了解,收获颇丰。

    有8位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
夜晟洛

京东联盟的广告投放效果到底如何?这篇总结里有没有提到一些实际的用户反馈?想了解一下。

    有5位网友表示赞同!

生成推荐系统与京东联盟广告总结及应用
素婉纤尘

这篇总结让我对生成推荐系统有了更全面的认识,不过对京东联盟的广告效果还是有点迷茫。

    有11位网友表示赞同!

综合资源

联想视频一天两次被媒体反转,各方纷纷表示不知所措

2024-11-14 10:44:50

综合资源

如何使用常用的文字广告、图片广告和联属广告代码

2024-11-14 10:48:09

购物车
优惠劵
搜索