《表1 典型CTR预测方案的特点》
模型设计作为CTR预测中最重要的研究点,一直是研究者和广告算法工程师关注的焦点,从早期的浅层模型到深度学习模型,到目前浅层与深度的融合模型.可以发现引入不同模型的目的都是为了对样本的特征及特征间的交互(feature interactions)信息进行学习,模型对特征组合的学习能力越强,最终的预测性能越好.LR只能学习一阶特征的信息,因此通常需要通过手动的特征工程来帮助提取有效的组合特征;FM、FFM、AFM模型都是为了学习二阶组合特征的信息,GBDT+LR利用GBDT来筛选有效特征及组合特征;FNN、PNN、DIN是利用深度神经网络来学习高阶组合特征的信息;Wide&Deep、DeepFM利用融合模型同时学习低阶和高阶特征携带的信息;Deep&Cross、xDeepFM不仅同时学习低阶和高阶特征的信息,而且通过新的结构学习按向量组合的高阶特征信息.因此,本文将已有的CTR预测模型归纳为如图7所示的结构,即目前的研究均是通过模型结构的设计,实现更为高效的自动特征工程.最后,图8展示了典型CTR预测方案在Criteo公开数据集(1)上的性能对比,这里采用AUC作为评价指标,AUC值越大说明预测性能越好,W&D表示Wide&Deep模型,D&C表示Deep&Cross模型.实验结果显示在单一结构下,深度学习模型的预测性能确实优于浅层结构的LR和FM方案,但是弱于FFM,这是因为FFM能够学习不同特征域的特征进行二阶特征组合时的嵌入向量差异,具有较强的学习能力,但是FFM的参数复杂度也非常高;基于融合结构的方案的预测性能确实略优于单一结构模型的性能,例如Wide&Deep和DeepFM.需要说明的是为了便于比较,所有包含深度神经网络的方案中,都采用了相同的深度神经网络结构(隐层数和隐层节点数相同),可能对于某些方案得到的结果是非最优的,关于点击率预测更详细的量化分析可参考前期工作[27,48].
图表编号 | XD00197649700 严禁用于非法目的 |
---|---|
绘制时间 | 2020.10.01 |
作者 | 刘梦娟、岳威、仇笠舟、李家兴、秦志光 |
绘制单位 | 电子科技大学网络与数据安全四川省重点实验室、电子科技大学网络与数据安全四川省重点实验室、电子科技大学网络与数据安全四川省重点实验室、电子科技大学网络与数据安全四川省重点实验室、电子科技大学网络与数据安全四川省重点实验室 |
更多格式 | 高清、无水印(增值服务) |