backpropagation-創(chuàng)新互聯(lián)
http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95
成都創(chuàng)新互聯(lián)公司是一家專業(yè)提供米脂企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站建設(shè)、成都網(wǎng)站制作、H5場(chǎng)景定制、小程序制作等業(yè)務(wù)。10年已為米脂眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站制作公司優(yōu)惠進(jìn)行中。 反向傳播算法的思路如下：給定一個(gè)樣例 
，我們首先進(jìn)行“前向傳導(dǎo)”運(yùn)算，計(jì)算出網(wǎng)絡(luò)中所有的激活值，包括 
的輸出值。之后，針對(duì)第 
層的每一個(gè)節(jié)點(diǎn) 
，我們計(jì)算出其“殘差” 
，該殘差表明了該節(jié)點(diǎn)對(duì)最終輸出值的殘差產(chǎn)生了多少影響。對(duì)于最終的輸出節(jié)點(diǎn)，我們可以直接算出網(wǎng)絡(luò)產(chǎn)生的激活值與實(shí)際值之間的差距，我們將這個(gè)差距定義為 
（第 
層表示輸出層）。對(duì)于隱藏單元我們?nèi)绾翁幚砟?？我們將基于?jié)點(diǎn)（譯者注：第 
層節(jié)點(diǎn)）殘差的加權(quán)平均值計(jì)算 ，這些節(jié)點(diǎn)以 
作為輸入。
$ delta 3=frac{d Error}{d x_3}=frac{d 1/2*(t-y_3)^2}{d x} =-(t-y_3)*y_{3}^{'} $
$ delta 2=frac{d Error}{d x_2}=frac{d E}{d x_3} frac{d x_3}{d y_2} frac{d y_2}{d x_2}= delta 3*w2*y_{2}^{'} $
計(jì)算我們需要的偏導(dǎo)數(shù)，計(jì)算方法如下：
（$a^(l)_j$是activation, j是前一層，i是后一層）
是sum上面一層，而forward是sum下面一層。
若不是sigmoid，則$Delta wi=exi$
還有一個(gè)問(wèn)題，當(dāng)f(x)接近1或接近0時(shí)，gradient非常小，幾乎為0，這時(shí)沒(méi)法更新weight，錯(cuò)誤無(wú)法修正
tj只有當(dāng)是結(jié)果是才為1，其余時(shí)候?yàn)?.
網(wǎng)頁(yè)名稱：backpropagation-創(chuàng)新互聯(lián)
瀏覽地址：http://m.jiaotiyi.com/article/cceije.html