01/26/251(wǎngluò)第一页,共四十四页。01/26/252(ɡàishù)1、BP算法的出现非循环多级网络的训练算法UCSDPDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述1982年,Paker就完成了相似的工作1974年,Werbos已提出了该方法2、弱点:训练速度非常(fēicháng)慢、局部极小点的逃离问题、算法不一定收敛3、优点:广泛的适应性和有效性。第二页,共四十四页。01/26/253(jīběn)•4.2.1网络(wǎngluò)的构成netenetfo11)()1()()1(1)(22ooooeenetfnetnet第三页,共四十四页。01/26/254(hánshù)0.5f′(net)0.25o011(0,0.5)net(0,0)oneteo11第四页,共四十四页。01/26/255(wǎngluò)x1o1输出层隐藏层输入层x2o2omxn…………………W(1)W(2)W(3)W(L)第五页,共四十四页。01/26/256(wǎngluò)(tígāo)第六页,共四十四页。01/26/257(tuòpū)x1o1输出层隐藏层输入层x2o2omxn…………WV第七页,共四十四页。01/26/258(guòchéng)(lǐxiǎng)第八页,共四十四页。01/26/259(xùnliàn)(fāngshì)mjpjpjpoyE1221(4)网络关于整个(zhěnggè)样本集的误差测度:ppEE第九页,共四十四页。01/26/2510(chuánbō)1、输出(shūchū)层权的调整wpq=wpq+∆wpq∆wpq=αδqop=αfn′(netq)(yq-oq)op=αoq(1-oq)(yq-oq)opwpqANpANq第L-1层第L层∆wpq第十页,共四十四页。01/26/2511(yǐncáng)ANpANqANhvhpδpk-1δ1kwp1wpqδqkwpmδmk第k-2层第k层第k-1层……第十一页,共四十四页。01/26/2512(yǐncáng)δpk-1的值和δ1k,δ2k,…,δmk有关不妨认为(rènwéi)δpk-1通过权wp1对δ1k做出贡献,通过权wp2对δ2k做出贡献,……通过权wpm对δmk做出贡献。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)第十二页,共四十四页。01/26/2513(yǐncáng)vhp=vhp+∆vhp∆vhp=αδpk-1ohk-2=αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhpδpk-1δ1kwp1wpmδqkwpqδmk第k-2层第k层第k-1层……第十三页,共四十四页。01/26/2514(jīběn)S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}第十四页,共四十四页。01/26/2515(suànfǎ)(jīnɡdù)第十五页,共四十四页。01/26/2516(suànfǎ)4.2对S中的每一个(yīɡè)样本(Xp,Yp):4.2.1计算出Xp对应的实际输出Op;4.2.2计算出Ep;4.2.3E=E+Ep;4.2.4根据相应式子调整W...