pytorch對(duì)梯度進(jìn)行可視化進(jìn)行梯度檢查的示例分析-創(chuàng)新互聯(lián)
這篇文章主要介紹了pytorch對(duì)梯度進(jìn)行可視化進(jìn)行梯度檢查的示例分析，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
目的： 在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候，有時(shí)候需要自己寫(xiě)操作，比如faster_rcnn中的roi_pooling，我們可以可視化前向傳播的圖像和反向傳播的梯度圖像，前向傳播可以檢查流程和計(jì)算的正確性，而反向傳播則可以大概檢查流程的正確性。
實(shí)驗(yàn)
可視化rroi_align的梯度
1.pytorch 0.4.1及之前，需要聲明需要參數(shù)，這里將圖片數(shù)據(jù)聲明為variable
im_data = Variable(im_data, requires_grad=True)
2.進(jìn)行前向傳播，最后的loss映射為一個(gè)一維的張量
pooled_feat = roipool(im_data, rois.view(-1, 6)) res = pooled_feat.pow(2).sum() res.backward()
3.注意求loss的時(shí)候采用更加復(fù)雜，或者更多的運(yùn)算（這樣在梯度可視化的時(shí)候效果才更加明顯）
可視化效果
原始圖片
梯度可視化圖片
原圖+梯度圖
小結(jié)：
可以看到誤差梯度的位置是正確的，誤差是否正確，需要其他方式驗(yàn)證（暫時(shí)沒(méi)有思路）
可以看到上面在求loss的時(shí)候?yàn)椋簂oss = sum(x2)，但是如果換成：loss = mean(x)，效果就沒(méi)有上面明顯。
實(shí)驗(yàn)二的效果
loss = mean(x)
可以看到根本無(wú)法看到誤差梯度的位置信息
實(shí)驗(yàn)三：loss = sum(x)
小結(jié)： 可以看到位置信息有差別，比如國(guó)徽部分，這會(huì)讓人以為，國(guó)徽部分只利用了左部分的信息，或者自己手寫(xiě)的操作誤差索引不對(duì)。
可以通過(guò)兩種方式進(jìn)行驗(yàn)證
1.用更多，更復(fù)雜的運(yùn)算求loss，比如pow，等
2.用matplotlib顯示圖片后，用鼠標(biāo)可以指示每個(gè)點(diǎn)的具體的值，可以檢測(cè)有誤差梯度區(qū)域是否和無(wú)誤差梯度區(qū)域有差別。
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“pytorch對(duì)梯度進(jìn)行可視化進(jìn)行梯度檢查的示例分析”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司，關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、網(wǎng)站設(shè)計(jì)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。
新聞標(biāo)題：pytorch對(duì)梯度進(jìn)行可視化進(jìn)行梯度檢查的示例分析-創(chuàng)新互聯(lián)
文章路徑：http://m.jiaotiyi.com/article/ddpsji.html