PTT數位生活區 / DataScience

[討論] 發現模型開始過擬合，開發者能做什麼

看板DataScience作者 (中立評論員)時間4年前 (2020/10/10 19:57), 編輯推噓4(4推 0噓 9→)
留言13則, 3人參與, 4年前最新討論串1/1
一般用驗證集和訓練集的accuracy， 就能看出這個模型是不是往overfitting的方向發展， 這時開發者能做什麼？ (1) 停止訓練 (2) 加入dropout 或是 dropblock等增加訓練亂數 (3) 在每一次的gradient加入error feedback 還有其他方法嗎？ 有沒有關於(3)方法的應用呢？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.131.205 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1602331028.A.516.html
推
10/10 20:10, 4年前 , 1F
可是3的方法應該有一些疑慮，如果給error feedback有點
10/10 20:10, 1F
→
10/10 20:10, 4年前 , 2F
作弊的感覺，畢竟希望驗證是能部份模擬現實情況，沒看過
10/10 20:10, 2F
→
10/10 20:10, 4年前 , 3F
資料的狀況下做判斷。而且通常驗證也會割比較少，不如看
10/10 20:10, 3F
→
10/10 20:10, 4年前 , 4F
驗證出來預測錯誤的地方加上什麼架構可以有效修補。
10/10 20:10, 4F
推
10/10 22:11, 4年前 , 5F
有加batch normalization? 減少model complexity
10/10 22:11, 5F
推
10/10 22:15, 4年前 , 6F
Learning rate decay
10/10 22:15, 6F
推
10/10 23:29, 4年前 , 7F
第一個你要確定是不是真的overfitting
10/10 23:29, 7F
→
10/10 23:29, 4年前 , 8F
（驗證集accoracy先降後升）
10/10 23:29, 8F
→
10/10 23:30, 4年前 , 9F
然後確定樣本分佈夠均勻（做交叉驗證）
10/10 23:30, 9F
→
10/11 00:16, 4年前 , 10F
有時候就是訓練樣本多樣性不夠或是沒好好打散
10/11 00:16, 10F
→
10/11 00:18, 4年前 , 11F
再來就是加點regularization項牽制，以稍微增加偏差
10/11 00:18, 11F
→
10/11 00:19, 4年前 , 12F
的方式換得"大幅"增加誤差（要謹慎取捨）
10/11 00:19, 12F
→
10/11 00:20, 4年前 , 13F
減少
10/11 00:20, 13F
‣ 更多 wang19980531 的文章
文章代碼(AID): #1VWQ6KKM (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 wang19980531 的文章
文章代碼(AID): #1VWQ6KKM (DataScience)