基于忆阻循环神经网络的层次化状态正则变分自编码器胡小方*杨涛(西南大学人工智能学院重庆400715)(类脑计算与智能控制重庆市重点实验室重庆400715)摘要：变分自编码器(VAE)作为一个功能强大的文本生成模型受到越来越多的关注。然而，变分自编码器在优化过程中容易出现后验崩溃，即忽略潜在变量，退化为一个自编码器。针对这个问题，该文提出一种新的变分自编码器模型，通过层次化编码和状态正则方法，可以有效缓解后验崩溃，且相较于基线模型具有更优的文本生成质量。在此基础上，基于纳米级忆阻器，将提出的变分自编码器模型与忆阻循环神经网络(RNN)结合，设计一种基于忆阻循环神经网络的硬件实现方案，即层次化变分自编码忆组神经网络(HVAE-MNN)，探讨模型的硬件加速。计算机仿真实验和结果分析验证了该文模型的有效性与优越性。关键词：变分自编码器；忆阻器；忆阻循环网络；文本生成中图分类号：TN918.3;TN601文献标识码：A文章编号：1009-5896(2023)02-0689-09DOI:10.11999/JEIT211431HierarchicalStateRegularizationVariationalAutoEncoderBasedonMemristorRecurrentNeuralNetworkHUXiaofangYANGTao(CollegeofArtificialIntelligence,SouthwestUniversity,Chongqing400715,China)(Brain-inspiredComputing&IntelligentControlofChongqingKeyLaboratory,Chongqing400715,China)Abstract:Asapowerfultextgenerationmodel,theVariationalAutoEncoder(VAE)hasattractedmoreandmoreattention.However,intheprocessofoptimization,thevariationalauto-encodertendstoignorethepotentialvariablesanddegeneratesintoanauto-encoder,calledaposterioricollapse.Anewvariationalauto-encodermodelisproposedinthispaper,calledHierarchicalStatusRegularisationVariationalAutoEncoder(HSR-VAE),whichcaneffectivelyalleviatetheproblemofposteriorcollapsethroughhierarchicalcodingandstateregularizationandhasbettermodelperformancethanthebaselinemodel.Onthisbasis,basedonthenanometermemristor,themodeliscombinedwiththememristorRecurrentNeuralNetwork(RNN).Ahardwareimplementationschemebasedonamemristorrecurrentneuralnetworkisproposedtorealizethehardwareaccelerationofthemodel,whichcalledHierarchicalVariationalAutoEncoderMemristorNeuralNetworks(HVAE-MHN).Computersimulationexperimentsandresultanalysisverifythevalid...
