PTT數位生活區 / DataScience

Re: [徵文] Self-Normalizing Neural Networks

看板DataScience作者 (PY火炬)時間6年前 (2018/09/19 10:03), 6年前編輯推噓1(1推 0噓 2→)
留言3則, 2人參與, 6年前最新討論串4/4 (看更多)
弱弱問一下， selu可以搭配batch normalization嗎? 我試了一下結果有點詭異， 不太確定是我code寫錯還是selu不能加BN? 再順便確認下selu放在residual networks是可以的嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.105.53 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1537322634.A.032.html
推
09/19 11:44, 6年前 , 1F
1.可以是可以,但為什麼要？
09/19 11:44, 1F
train到一段時間後，前面的layer gradient vanish了，想加BN看能不能改善 剛剛我仔細檢查兩者發現selu要求initialization是Xavier 可是BN的initialization好像是variance固定是1, 好像互相衝突了， 不知道我結果怪是不是這原因
→
09/19 11:44, 6年前 , 2F
2.我沒試過,但這兩個概念應該沒有衝突
09/19 11:44, 2F
※ 編輯: PyTorch (114.136.227.153), 09/19/2018 14:39:40
→
09/19 14:40, 6年前 , 3F
謝謝樓上回答
09/19 14:40, 3F
‣ 更多 PyTorch 的文章
文章代碼(AID): #1ReQwA0o (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 PyTorch 的文章
文章代碼(AID): #1ReQwA0o (DataScience)