基于知识引导的自适应序列强化学习模型李迎港１童向荣１摘要序列推荐可形式化为马尔科夫决策过程，进而转化为深度强化学习问题，其关键是从用户序列中挖掘关键信息，如偏好漂移、序列之间的依赖关系等，但当前大多数基于深度强化学习的推荐系统都是以固定序列长度作为模型输入．受知识图谱的启发，文中设计基于知识引导的自适应序列强化学习模型．首先，利用知识图谱的实体关系，从完整的用户反馈序列中截取部分序列作为漂移序列，其中漂移序列中的项目集合表示用户的当前偏好，序列长度表示用户的偏好变化速度．然后，通过门控循环单元提取漂移序列中用户的偏好变化和项目之间的依赖关系，同时利用自注意力机制对关键的项目信息进行选择性关注．最后，设计复合奖励函数，包括折扣序列奖励和知识图谱奖励，用于缓解奖励稀疏的问题．在４个真实世界数据集上的实验表明，文中模型的推荐准确率较优．关键词自适应序列，深度强化学习，知识图谱，自注意力机制，循环神经网络引用格式李迎港，童向荣．基于知识引导的自适应序列强化学习模型．模式识别与人工智能，２０２３，３６（２）：１０８－１１９．ＤＯＩ１０．１６４５１／ｊ．ｃｎｋｉ．ｉｓｓｎ１００３⁃６０５９．２０２３０２００２中图法分类号ＴＰ３９１Ｋｎｏｗｌｅｄｇｅ⁃ＧｕｉｄｅｄＡｄａｐｔｉｖｅＳｅｑｕｅｎｃｅＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇＭｏｄｅｌＬＩＹｉｎｇｇａｎｇ１，ＴＯＮＧＸｉａｎｇｒｏｎｇ１ＡＢＳＴＲＡＣＴＴｈｅｓｅｑｕｅｎｃｅｒｅｃｏｍｍｅｎｄａｔｉｏｎｃａｎｂｅｆｏｒｍａｌｉｚｅｄａｓａＭａｒｋｏｖｄｅｃｉｓｉｏｎｐｒｏｃｅｓｓａｎｄｔｈｅｎｔｒａｎｓｆｏｒｍｅｄｉｎｔｏａｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｐｒｏｂｌｅｍ．Ｍｉｎｉｎｇｃｒｉｔｉｃａｌｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｕｓｅｒｓｅｑｕｅｎｃｅｓｉｓａｋｅｙｓｔｅｐ，ｓｕｃｈａｓｐｒｅｆｅｒｅｎｃｅｄｒｉｆｔａｎｄｄｅｐｅｎｄｅｎｃｉｅｓｂｅｔｗｅｅｎｓｅｑｕｅｎｃｅｓ．Ｉｎｍｏｓｔｃｕｒｒｅｎｔｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｓ，ａｆｉｘｅｄｓｅｑｕｅｎｃｅｌｅｎｇｔｈｉｓｔａｋｅｎａｓｔｈｅｉｎｐｕｔ．Ｉｎｓｐｉｒｅｄｂｙｋｎｏｗｌｅｄｇｅｇｒａｐｈｓ，ａｋｎｏｗｌｅｄｇｅ⁃ｇｕｉｄｅｄａｄａｐｔｉｖｅｓｅｑｕｅｎｃｅｒｅｉｎｆｏ...
