贝叶斯神经网络贪心科技让每个人享受个性化教育服务AI大纲贝叶斯深度学习介绍贝叶斯模型提供不确定性的重要性贝叶斯模型的训练应用实例阅读材料IntroductiontoBayesianDeepLearning•https://www.cs.ox.ac.uk/people/yarin.gal/website/PDFs/2017_OReilly_talk.pdf•WeightUncertaintyinNeuralNetworks•https://arxiv.org/pdf/1505.05424.pdf贝叶斯公式深度学习贝叶斯深度学习点估计作为权重的神经网络vs概率分布作为权重的神经网络贝叶斯深度学习深度学习存在的问题深度学习已经被广泛应用，但存在以下问题：1.医疗，法律，金融等领域imbalance的数据集，过拟合2.依赖大数据3.深度学习只给出一个特定的结果，无法应对不确定性，不能给出模型对结果的confidence4.很容易被fooled，AISafety，有些领域不能接受哪怕一次不好的结果，比如无人驾驶，航天航空贝叶斯深度学习1.BayesianNeuralNetwork比传统深度学习，提供正则化效果，防止过度拟合，更加robust2.更重要的是，BayesianNeuralNetwork可以提供不确定性（uncertainty），什么可以预测，什么是模型不确定或不知道的，最后作出更好的预测，避免灾难贝叶斯深度学习点估计作为权重的神经网络vs概率分布作为权重的神经网络深度学习中的不确定性不确定性–偶然不确定性不确定性–认知不确定性不确定性的重要性•模型知道什么是可以预测的，哪些是不确定的•不确定的部分可以采取进一步的措施，比如交给人决策，也就是所说的AISafety贝叶斯神经网络WeightUncertaintyinNeuralNetworks贝叶斯神经网络WeightUncertaintyinNeuralNetworks贝叶斯神经网络WeightUncertaintyinNeuralNetworks贝叶斯神经网络WeightUncertaintyinNeuralNetworks贝叶斯神经网络WeightUncertaintyinNeuralNetworks-MCMC贝叶斯神经网络WeightUncertaintyinNeuralNetworks-VariationalInference(GaussianPosterior)MCDropout•Dropout是深度学习中防止over-fitting的一种常用方法•随机的设置网络单元为0，来达到dropout的目的•提高网络性能，防止over-fitting从贝叶斯模型理解Dropout•贝叶斯模型在数学上有完备的框架推导不确定性，但要付出过高的计算代价•从贝叶斯理论出发的Dropout理解方式，将Dropout解释为深度高斯过程的贝叶斯近似•Dropout是把深度学习和贝叶斯模型联系在一起的简单方式•理论证明见论文DropoutasaBayesianApproximation:RepresentingModelUncertaintyinDeepLearning.以及这篇论文的AppendixFromBayes...
