PTT數位生活區 / DataScience

[問題] loss 一直降不下來

看板DataScience作者 (JW)時間5年前 (2019/09/14 16:29), 編輯推噓6(6推 0噓 7→)
留言13則, 9人參與, 5年前最新討論串1/1
之前在自己嘗試 Adam 跟 RAdam 的差異時， 有時候會遇到一個狀況是使用 Adam 的時候，model 一直 train 不起來 我所謂的train 不起來是 train loss 從第一個 epoch 開始就不太會動 怪的是，我換成 RAdam 時好了。 更怪的是，再換回去 Adam時也可以正常 train 了 這中間我沒有變更 model 及其他超參數。 原本我自己覺得這大概是一開始的隨機初始值影響， 可能在訓練的時候要拚一下人品(?) 然而這幾天再嘗試一個高維度的資料降維，想說試著使用 AutoEncoder 來降維 loss 嘗試了 binary_catgoricalentropy 以及 mse optimizer 也嘗試了 Adam 或 RAdam 依舊是 train 不太起來的狀況 跟朋友討論時懷疑是否是維度太高 (大約五六百維)造成， 但這幾天想想不太可能啊，從李宏毅之前的課看起來 700多維的應該也是可以 trian 得起來 難道訓練真的要拚人品嗎 ? 但總覺得這樣好像有點太憑運氣， 因此想請問一下大家 訓練過程是否還有其他因素會導致這樣完全 train 不起來 ? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.129.5.37 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1568449757.A.928.html
→
09/14 16:47, 5年前 , 1F
train了多久發現都沒在動呢？ 有時候看了一下變化不大就
09/14 16:47, 1F
→
09/14 16:47, 5年前 , 2F
會以為沒在動然後停掉 跑一陣子看看
09/14 16:47, 2F
→
09/14 17:54, 5年前 , 3F
我有用reducelronplateau降兩三次都沒在動就會停掉了
09/14 17:54, 3F
推
09/14 18:36, 5年前 , 4F
維度太高的情況下確實有可能會存在一定的訓練時間下loss
09/14 18:36, 4F
→
09/14 18:36, 5年前 , 5F
降不下來的問題，你可以試著降維或是觀察長期的變化。也
09/14 18:36, 5F
→
09/14 18:36, 5年前 , 6F
有可能是模型結構跟初始值要調整。
09/14 18:36, 6F
→
09/15 02:23, 5年前 , 7F
未看先猜沒有調lr
09/15 02:23, 7F
推
09/15 10:15, 5年前 , 8F
固定seed試試?
09/15 10:15, 8F
推
09/15 16:16, 5年前 , 9F
用VAE試試看
09/15 16:16, 9F
推
09/15 23:45, 5年前 , 10F
你先檢查資料吧！
09/15 23:45, 10F
推
09/18 12:39, 5年前 , 11F
lr
09/18 12:39, 11F
推
09/20 10:42, 5年前 , 12F
Learning rate再調整一下？太高或太低都可能會導致降
09/20 10:42, 12F
→
09/20 10:42, 5年前 , 13F
不下來
09/20 10:42, 13F
‣ 更多 jagerwu 的文章
文章代碼(AID): #1TVAJTae (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 jagerwu 的文章
文章代碼(AID): #1TVAJTae (DataScience)