PTT數位生活區 / DataScience

[討論] BatchNorm vs InstanceNorm

看板DataScience作者 (中立評論員)時間4年前 (2020/11/13 01:10), 編輯推噓3(3推 0噓 9→)
留言12則, 4人參與, 4年前最新討論串1/1
MoCo論文當中 有提到BN 可能會藉由計算batch分布 以快速達到很好的訓練效果 而非真正 從資料特徵來學習 我把ResNet18每個bn換成instance norm 結果訓練的loss確實有逐步下降， 但evaluation的結果顯示很震盪 想知道這樣直接換 是合理的嗎 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.10.31.131 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1605201027.A.ECF.html
推
11/13 17:37, 4年前 , 1F
如果要做style transfer 是合理的，若是分類問題則不建
11/13 17:37, 1F
→
11/13 17:37, 4年前 , 2F
議，分類因記憶體限制建議使用GN，說明網路上查都有就不
11/13 17:37, 2F
→
11/13 17:37, 4年前 , 3F
獻醜了
11/13 17:37, 3F
→
11/14 15:17, 4年前 , 4F
我用GN測試 效果也太好了吧 謝謝你
11/14 15:17, 4F
→
11/14 15:17, 4年前 , 5F
對了像我要改一個既有的網絡框架 像是Resnet18
11/14 15:17, 5F
→
11/14 15:17, 4年前 , 6F
除了一行一行改之外，有沒有其他辦法
11/14 15:17, 6F
推
11/16 20:53, 4年前 , 7F
一般是迴圈的方式建resnet 應該不用單行單行改
11/16 20:53, 7F
→
11/16 20:55, 4年前 , 8F
11/16 20:55, 8F
推
11/23 14:24, 4年前 , 9F
如果是Tensoflow，1.x版可以建好靜態圖再抽換，2.x版可
11/23 14:24, 9F
→
11/23 14:24, 4年前 , 10F
以用clone_model的clone_function直接把layer換掉。其
11/23 14:24, 10F
→
11/23 14:24, 4年前 , 11F
他框架應該也能做到，畢竟BN或LN都是簡單的sequential
11/23 14:24, 11F
→
11/23 14:24, 4年前 , 12F
連結。
11/23 14:24, 12F
‣ 更多 wang19980531 的文章
文章代碼(AID): #1VhMo3xF (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 wang19980531 的文章
文章代碼(AID): #1VhMo3xF (DataScience)