[討論] BatchNorm vs InstanceNorm

看板DataScience作者 (中立評論員)時間3年前 (2020/11/13 01:10), 編輯推噓3(309)
留言12則, 4人參與, 3年前最新討論串1/1
MoCo論文當中 有提到BN 可能會藉由計算batch分布 以快速達到很好的訓練效果 而非真正 從資料特徵來學習 我把ResNet18每個bn換成instance norm 結果訓練的loss確實有逐步下降, 但evaluation的結果顯示很震盪 想知道這樣直接換 是合理的嗎 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.31.131 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1605201027.A.ECF.html

11/13 17:37, 3年前 , 1F
如果要做style transfer 是合理的,若是分類問題則不建
11/13 17:37, 1F

11/13 17:37, 3年前 , 2F
議,分類因記憶體限制建議使用GN,說明網路上查都有就不
11/13 17:37, 2F

11/13 17:37, 3年前 , 3F
獻醜了
11/13 17:37, 3F

11/14 15:17, 3年前 , 4F
我用GN測試 效果也太好了吧 謝謝你
11/14 15:17, 4F

11/14 15:17, 3年前 , 5F
對了像我要改一個既有的網絡框架 像是Resnet18
11/14 15:17, 5F

11/14 15:17, 3年前 , 6F
除了一行一行改之外,有沒有其他辦法
11/14 15:17, 6F

11/16 20:53, 3年前 , 7F
一般是迴圈的方式建resnet 應該不用單行單行改
11/16 20:53, 7F

11/16 20:55, 3年前 , 8F

11/23 14:24, 3年前 , 9F
如果是Tensoflow,1.x版可以建好靜態圖再抽換,2.x版可
11/23 14:24, 9F

11/23 14:24, 3年前 , 10F
以用clone_model的clone_function直接把layer換掉。其
11/23 14:24, 10F

11/23 14:24, 3年前 , 11F
他框架應該也能做到,畢竟BN或LN都是簡單的sequential
11/23 14:24, 11F

11/23 14:24, 3年前 , 12F
連結。
11/23 14:24, 12F
文章代碼(AID): #1VhMo3xF (DataScience)
文章代碼(AID): #1VhMo3xF (DataScience)