机器学习与深度学习实践(2)刘毅2018.09.09声明Acknowledgments•假设参与此门课程的同学具有python基础及高等数学基础。•不要求有深刻的算法基础，但对于基本的数据结构和算法要有一定了解。•参考资料：取自于sklearn、tensorflow官方网站、斯坦福大学CS224d、CS231n课件、Github的部分代码仓库、部分来源于网络和搜索引擎，也有部分资料和代码是自行完成的。•参考书籍：《机器学习》、《统计学习方法》、《模式识别与机器学习》、《Hands-OnMachineLearningWithScikit-Learn&TensorFlow》等•课后如果有问题，欢迎联系交流Day2大纲•深度学习简介•深度学习框架讲解•计算机视觉卷积神经网络•cnn•语义理解循环神经网络•word2vec，rnn深度学习简介•传统机器学习•人工特征工程+分类器考虑金融/文本/图像/语音/视频数据，特征工程的做法？•传统机器学习传统机器学习通过数据样本采集和人工特征工程，辅之以相对简单的数学模型(如线性回归/logistic回归/决策树/朴素贝叶斯等)，实现对数据分布规律的学习或客观世界规律的建模。•随着数据量的提升，人工特征工程难以精准•模型复杂度有限，表达能力不足由于上述问题的存在，2000~2010年期间，许多机器学习任务的性能很难提升，随着2012年深度学习技术在ImageNet夺冠后，这个现状才被迅速打破深度学习发展•感知机对生物神经细胞的简单数学模拟，是最简单的人工神经网络，只有一个神经元。感知机也可以看做是线性分类器的一个经典学习算法。思考：感知机的缺陷是什么？深度学习发展2,0,1111,x21，特征值分解：yxyxy思考：非线性问题解决？如何增加表达能力？深度学习发展•前馈神经网络(1)、增加input尺寸(2)、增加隐层数目(3)、全连接网络思考：该如何求解网络参数呢？深度学习发展•前馈神经网络（BP网络）利用求导的链式法则，反向梯度传递更新网络参数，这是可微分编程的精髓深度学习发展•前馈神经网络的训练10J(0,1)回忆：为什么要用MiniBatch-SGD？MiniBatch-SGD深度学习发展•前馈神经网络发展深度学习发展•语音识别的发展深度学习发展•图像领域的发展feifeili,google深度学习发展•nlp领域的发展juergenschmidhuber深度学习发展•强化学习相结合深度学习发展•深度学习∈机器学习•深度学习=人工神经网络•深度学习具备自动特征工程的能力•深度学习具备极强的表达能力•深度学习计算量庞大练习：http://playground.tensorflow....
