PTT數位生活區 / DataScience

[問題] 斷崖式模型損壞

看板DataScience作者 (小笨)時間4年前 (2020/10/04 15:10), 編輯推噓3(3推 0噓 10→)
留言13則, 4人參與, 4年前最新討論串1/1
各位好，前陣子拿到imagenet因此想試試看能不能重現alexnet的表現 我目前的問題是前面10幾個epochs都能正常的訓練 我的error是用BCE reduce = sum 第一個epoch訓練完之後training error是6點多 但是10幾個epochs之後會突然出現error從3點多暴跌到100 多的情況 accuracy也從top5 = 50多%變成0% 之前訓練其他模型沒有遇過這種情況 想請問有甚麼可能會遇上這樣斷崖式的模型崩壞嗎 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.134.15.129 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1601795443.A.AA6.html
推
10/04 18:28, 4年前 , 1F
感覺上是梯度下降走的太快，不小心滑出Loss local min？
10/04 18:28, 1F
→
10/04 20:10, 4年前 , 2F
wt大，我使用的是ranger optimizer lr=1e-4
10/04 20:10, 2F
→
10/04 20:11, 4年前 , 3F
我的想法是如果學習率太大，他是不是應該早點崩掉
10/04 20:11, 3F
→
10/04 20:11, 4年前 , 4F
而不是已經走了10幾個epochs才壞掉呢?
10/04 20:11, 4F
推
10/04 21:07, 4年前 , 5F
學習率太高是有可能先降後崩掉
10/04 21:07, 5F
→
10/04 21:07, 4年前 , 6F
10/04 21:07, 6F
→
10/04 21:09, 4年前 , 7F
若不能降學習率，加入一些懲罰項或normalization
10/04 21:09, 7F
→
10/04 21:09, 4年前 , 8F
也許能幫助模型穩定
10/04 21:09, 8F
推
10/09 21:57, 4年前 , 9F
感覺很像是learning rate問題,可以做learning rate
10/09 21:57, 9F
→
10/09 21:57, 4年前 , 10F
scheduling,或是gradient clipping. 訓練到後期常常
10/09 21:57, 10F
→
10/09 21:57, 4年前 , 11F
lr會設到非常低
10/09 21:57, 11F
→
10/09 21:57, 4年前 , 12F
防止跳出或是走不到local min
10/09 21:57, 12F
→
10/14 01:14, 4年前 , 13F
感覺是pipline有髒東西或者你code有錯
10/14 01:14, 13F
‣ 更多 clansoda 的文章
文章代碼(AID): #1VUNLpgc (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 clansoda 的文章
文章代碼(AID): #1VUNLpgc (DataScience)