贪心科技|让每个人享受个性化教育服务TransferLearning贪心科技|让每个人享受个性化教育服务今日安排1.什么是迁移学习？P32.传统机器学习vs迁移学习P43.NotationP5-P64.迁移学习的分类P7-P27①ModelFine-tuningP8-P12②MultitaskLearningP13-16③Domain-adversarialtrainingP17-P20④Zero-shotLearningP21-P25⑤Self-taughtLearningP26-P275.总结P28贪心科技|让每个人享受个性化教育服务百度百科定义：迁移学习是一种机器学习方法，就是把为任务A开发的模型作为初始点，重新使用在为任务B开发模型的过程中。动机：1.Insomedomains,labelleddataareinshortsupply.2.Insomedomains,thecalibrationeffortisveryexpensive.3.Insomedomains,thelearningprocessistimeconsuming.什么是迁移学习？贪心科技|让每个人享受个性化教育服务传统机器学习vs迁移学习(P.Langley06)贪心科技|让每个人享受个性化教育服务NotationDomain:Itconsistsoftwocomponents:Afeaturespace,amarginaldistributionIngeneral,iftwodomainsaredifferent,thentheymayhavedifferentfeaturespacesordifferentmarginaldistributions.Task:Givenaspecificdomainandlabelspace,foreachinthedomain,topredictitscorrespondinglabelIngeneral,iftwotasksaredifferent,thentheymayhavedifferentlabelspacesordifferentconditionaldistributionsAdoptedbySinnopan’sppthttps://www.ntu.edu.sg/home/sinnopan/publications/TLsurvey_0822.pdf贪心科技|让每个人享受个性化教育服务NotationForsimplicity,weonlyconsideratmosttwodomainsandtwotasks.Sourcedomain:Taskinthesourcedomain:Targetdomain:Taskinthetargetdomain贪心科技|让每个人享受个性化教育服务迁移学习的分类Adoptedby李宏毅机器学习：https://www.bilibili.com/video/av46561029/贪心科技|让每个人享受个性化教育服务贪心科技|让每个人享受个性化教育服务ModelFine-tuningOptimization1贪心科技|让每个人享受个性化教育服务ModelFine-tuningOptimization2贪心科技|让每个人享受个性化教育服务ModelFine-tuningOptimization2贪心科技|让每个人享受个性化教育服务ModelFine-tuningOptimization2该paper将ImageNet分成Source、Target各500类，横轴代表LayerTransfer时copy几个layer（0个代表没有LayerTransfer，是Baseline）纵轴是Top-1accuracy.曲线5表明，LayerTransfer+Fine-tuning在所有case下，Top-1accuracy均有提高。曲...
