[問題] 斷崖式模型損壞

看板DataScience作者 (小笨)時間3年前 (2020/10/04 15:10), 編輯推噓3(3010)
留言13則, 4人參與, 3年前最新討論串1/1
各位好,前陣子拿到imagenet因此想試試看能不能重現alexnet的表現 我目前的問題是前面10幾個epochs都能正常的訓練 我的error是用BCE reduce = sum 第一個epoch訓練完之後training error是6點多 但是10幾個epochs之後會突然出現error從3點多暴跌到100 多的情況 accuracy也從top5 = 50多%變成0% 之前訓練其他模型沒有遇過這種情況 想請問有甚麼可能會遇上這樣斷崖式的模型崩壞嗎 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.134.15.129 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1601795443.A.AA6.html

10/04 18:28, 3年前 , 1F
感覺上是梯度下降走的太快,不小心滑出Loss local min?
10/04 18:28, 1F

10/04 20:10, 3年前 , 2F
wt大,我使用的是ranger optimizer lr=1e-4
10/04 20:10, 2F

10/04 20:11, 3年前 , 3F
我的想法是如果學習率太大,他是不是應該早點崩掉
10/04 20:11, 3F

10/04 20:11, 3年前 , 4F
而不是已經走了10幾個epochs才壞掉呢?
10/04 20:11, 4F

10/04 21:07, 3年前 , 5F
學習率太高是有可能先降後崩掉
10/04 21:07, 5F

10/04 21:07, 3年前 , 6F

10/04 21:09, 3年前 , 7F
若不能降學習率,加入一些懲罰項或normalization
10/04 21:09, 7F

10/04 21:09, 3年前 , 8F
也許能幫助模型穩定
10/04 21:09, 8F

10/09 21:57, 3年前 , 9F
感覺很像是learning rate問題,可以做learning rate
10/09 21:57, 9F

10/09 21:57, 3年前 , 10F
scheduling,或是gradient clipping. 訓練到後期常常
10/09 21:57, 10F

10/09 21:57, 3年前 , 11F
lr會設到非常低
10/09 21:57, 11F

10/09 21:57, 3年前 , 12F
防止跳出或是走不到local min
10/09 21:57, 12F

10/14 01:14, 3年前 , 13F
感覺是pipline有髒東西或者你code有錯
10/14 01:14, 13F
文章代碼(AID): #1VUNLpgc (DataScience)
文章代碼(AID): #1VUNLpgc (DataScience)