PTT數位生活區 / DataScience

[問題] 請問CNN網路的dropout問題

看板DataScience作者 (Matlab是盤子在用的)時間6年前 (2018/04/19 02:38), 6年前編輯推噓4(4推 0噓 3→)
留言7則, 2人參與, 6年前最新討論串1/1
問題類別:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...) CNN 問題內容: 想請問在CNN類別的架構中 就是前面convolution層接個幾層 然後後面接DNN接個幾層 這種架構下 如果要dropout來避免overfitting 應該是在DNN層做dropout比較好 還是CNN層做dropout比較好? 我自己嘗試了半天 實在是沒有甚麼好結論 請教各位前輩能否給點建議 謝謝了 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 119.14.42.199 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1524076693.A.64A.html
推
04/19 04:33, 6年前 , 1F
VGG我印象都有加 只是這兩年的paper大家有用 batch norm/gr
04/19 04:33, 1F
→
04/19 04:33, 6年前 , 2F
oup norm的大多都沒在用 dropout了
04/19 04:33, 2F
謝謝，我會去找VGG來看，想再請問batch normalization跟dropout會互相衝突嗎? 因為就我理解,dropout是處理overfitting, 而batch normalization是處理train不起來 兩者的應用應該是不一樣的?
推
04/19 07:44, 6年前 , 3F
最後一次bn/gn後面幾層可加(通常是fc) 但效果可忽略
04/19 07:44, 3F
謝謝，我自己是覺得加在FC比較合理，因為感覺靠近output比較快收斂不動,應該用 dropout來讓其收斂更好 ※ 編輯: Rprogramming (119.14.42.199), 04/20/2018 01:44:30
推
04/20 06:29, 6年前 , 4F
印象中單純是不加accuracy較好 個人做還是有加啦 你也不
04/20 06:29, 4F
→
04/20 06:29, 6年前 , 5F
用一個一個model去試 先看一下 這幾年流行的CNN再拿來改
04/20 06:29, 5F
推
04/20 07:32, 6年前 , 6F
dropout隨機砍會讓bn無法正規化性能下降 最近有篇有
04/20 07:32, 6F
→
04/20 07:32, 6年前 , 7F
解但相較於純bn只是補回損失 建議先觀望後續發展
04/20 07:32, 7F
‣ 更多 Rprogramming 的文章
文章代碼(AID): #1Qrv2LPA (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 Rprogramming 的文章
文章代碼(AID): #1Qrv2LPA (DataScience)