第5期2023年5月电子学报ACTAELECTRONICASINICAVol.51No.5May2023采用多头注意力机制的C&RM-MAKT预测算法王炼红，罗志辉，林飞鹏，李潇瑶（湖南大学电气与信息工程学院，湖南长沙410082）摘要：针对深度知识追踪模型中普遍存在知识状态向量可解释性弱、缺失历史序列数据语义特征信息、忽视历史序列数据对预测结果影响程度等问题，本文提出了一种融合认知诊断理论和多头注意力机制的预测模型C&RM-MAKT（Cognitive&ResponseModel-Multi-headAttentionKnowledgeTracing）.C&RM-MAKT采用Word2Vec和BiLSTM（Bi-directionalLongShort-TermMemory）网络将时序数据变换为低维连续实值向量，引入C&RM训练出的可解释性参数来建模学生学习状态，在模型机理层面将知识状态向量扩展为知识状态矩阵.最后，C&RM-MAKT使用多头注意力机制计算出历史序列数据对预测结果的影响程度，以提高模型的可解释性与精度.预测实验结果表明：C&RM-MAKT在HNU_SYS1、HNU_SYS2、Math1和Frcsub四个数据集上都取得了最佳性能结果，尤其在HNU_SYS2中，C&RM-MAKT相较于现有知识追踪模型在AUC（AreaUdertheCurve）、ACC（ACCuracy）和F1（F1-Measure）指标上分别提升了4.3%、3.6%和5.9%.此外，HNU_SYS2数据集上的可解释性分析表明：C&RM-MAKT模型内部参数可解释性强，一定程度上缓解了深度模型的“黑箱”特性.关键词：预测算法；知识追踪；认知诊断；注意力机制；LSTM网络；时序数据；语义特征基金项目：国家重点研发计划（No.2019YFE0105300）；中国高等教育学会数字化课程资源专项研究课题（No.21SZYB15）中图分类号：TP391文献标识码：A文章编号：0372-2112(2023)05-1215-08电子学报URL:http://www.ejournal.org.cnDOI:10.12263/DZXB.20220790C&RM-MAKTPredictionAlgorithmUsingMulti-HeadAttentionMechanismWANGLian-hong，LUOZhi-hui，LINFei-peng，LIXiao-yao（SchoolofElectricalandInformationEngineering，HunanUniversity，Changsha，Hunan410082，China）Abstract：Toaddresstheproblemsofweakinterpretabilityofknowledgestatevectors,lacknessofthesemanticfea⁃tureofhistoricalsequencedata,andfailuretoconsidertheinfluenceofhistoricalsequencedataonperformancepredictioninexistingdeepknowledgetrackingmodels,thispaperproposesapredictivemodelC&RM-MAKT(Cognitive&ResponseModel-Multi-headAttentionKnowledgeTracing)integratingcognitivediagnostictheorywithmu...
