贪心科技|让每个人享受个性化教育服务Review:PaperReadingRepresentationLearning-AReviewandNewPerspectives范老师2020/05/17贪心科技|让每个人享受个性化教育服务BackgroundUnsupervisedfeaturelearninganddeeplearningProbabilisticmodelsAuto-encodersManifoldlearningDeepnetworksRepresentationlearningDensityestimationManifoldlearning贪心科技|让每个人享受个性化教育服务1Introduction•Deeplearningmethods:compositionofmultiplenon-lineartransformations,foryieldingmoreabstractandusefulrepresentations.•Answerquestions:a.whatmakesonerepresentationbetterthananother?b.Howshouldwecomputeisrepresentation,i.e.featureextraction?c.Whatareappropriateobjectivesforlearninggoodrepresentations?贪心科技|让每个人享受个性化教育服务2Whyshouldwecareaboutlearningrepresentations?•Speechrecognitionandsignalprocessing•Objectrecognition•Naturallanguageprocessing•Multi-taskandtransferlearning,domainadaption贪心科技|让每个人享受个性化教育服务3Whatmakesarepresentationgood?3.1PriorsforrepresentationlearninginAI：先提出先验知识的重要性，之后给出了很多点作为学习变量因素的储备知识3.2SmoothnessandtheCurseofDimensionality：支持用核机器学习，但是不能只有一个平滑的假设，因为会造成函数复杂度提高。提议在未来的工作中使用非常泛化的先验知识，结合数据去学习出一个相似度比较函数。3.3Distributedrepresentations：评估了一下各个模型学习所需要的参数量。3.4Depthandabstraction：虽然深度学习训练复杂，但是参数可复用并且可以提取很抽象的特征（利用非线性计算过程）3.5Disentanglingfactorsofvariation：模型应具有对变量因子分别抽取的能力。最终目标为尽可能大地利用数据去学习一个可区分不同因子的特征学习模型3.6Goodcriteriaforlearningrepresentations?很难定义一个目标，后文有具体讨论。贪心科技|让每个人享受个性化教育服务4Buildingdeeprepresentations1.06年在特征学习方面有一个突破：每一层都是特征提取，后一层是基于前一层的结果的加权，一层层的叠加，形成了深度学习模型2.这样贪婪式层级无监督预训练（greedylayerwiseunsupervisedpre-training）的结果，可用来做分类和后续下游的有监督的深度学习网络3.并谈及到将不同层堆叠为无监督模型的大致方法，但是没有最优的方法...
