计算机与现代化JISUANJIYUXIANDAIHUA2023年第3期总第331期0引言在计算广告、搜索、排序等推荐任务中，点击率（CTR）预测是核心算法，直接影响着互联网公司最后的盈利。大多数CTR预估模型由2个核心组件构成：一个是嵌入层组件，它将原始的输入数据转换成低维稠密的嵌入向量；另外一个是特征学习组件，它用来学习有效的特征交叉组合并计算模型的最终输出。然而，之前的研究主要集中在特征学习组件的自动化设计，很少关注嵌入层组件。这是因为大部分研究者都是在理解图像的基础上进行算法设计，其中学习组件对模型性能非常重要，而输入组件则微不足道，因为图像像素已经是浮点形式。与图像领域不同的是大量离散项（如产品、广告或视频）的推荐问题在工业环境中普遍存在，当类别特征作为输入时需要把one-hot编码的特征向量转为低维稠密向量，人工启发式选择嵌入维度会严重影响模型的准确性。基于此，本文借鉴AutoEmb［1］模型的思想，给出一个端到端的可微框架，该框架可以根据特征的受欢迎程度自动选择不同的嵌入维度，对于流行度高的物品特征嵌入选择大的维数，反之选择一个小的嵌入维数。在特征学习组件中，寻找原始特征的有效转换是结合注意力机制和图神经网络的CTR预估模型夏义春，李汪根，李豆豆，葛英奎，王志格（安徽师范大学计算机与信息学院，安徽芜湖241002）文章编号：1006-2475（2023）03-0029-09摘要：大多数CTR预测的算法都是将特征嵌入初始化为一个固定的维度，忽略了长尾物品特征的流行度不高。把它和头部物品的嵌入向量设置为相同长度会导致模型训练不平衡，影响最后的预测结果。基于此，本文首先使用一个端到端的可微框架，该框架可以根据特征的流行度自动选择不同的嵌入维度。其次，引入挤压激励网络机制和具有残差连接的多头自注意力机制，分别从不同角度动态地学习特征的重要性以及识别重要的特征组合，然后使用图神经网络代替传统内积和哈达玛积显式建模二阶特征交互。最后为了进一步提高性能，将DNN组件与浅层模型相结合形成深度模型，利用贝叶斯优化算法为深度模型选择一组超参数，避免复杂的调参过程，并且在2个基准数据集上实验，结果验证模型的有效性。关键词：点击率预测；自动嵌入搜索；挤压激励网络；多头自注意力机制；图神经网络；贝叶斯优化中图分类号：TP391文献标志码：ADOI：10.3969/j.issn.1006-2475.2023.03.006CTRPredictionModelCombiningAttentionMechanismandGraphNeuralNetworkXIAYi-chun，LIWang-gen，LI...
