PTT數位生活區 / DataScience

[問題] 小的model在training時收斂會比較快嗎?

看板DataScience作者 ('selu')時間6年前 (2018/08/22 00:54), 編輯推噓2(2推 0噓 11→)
留言13則, 5人參與, 6年前最新討論串1/1
好奇一個問題 小的model在training時的收斂會比較快嗎? 自己train比較小的model比較常遇到是training上不去... -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.64.27 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1534870444.A.D43.html
推
08/22 01:00, 6年前 , 1F
已經收斂了所以停止上升？
08/22 01:00, 1F
→
08/22 01:05, 6年前 , 2F
有沒有可能train的上去又收斂快? 我才疏學淺
08/22 01:05, 2F
→
08/22 07:18, 6年前 , 3F
多小？參數量？
08/22 07:18, 3F
推
08/22 12:22, 6年前 , 4F
如果連training的performance都差，可能資料或是model本
08/22 12:22, 4F
→
08/22 12:23, 6年前 , 5F
來就有問題，比方說 「Model太小」或是「model太大」都算
08/22 12:23, 5F
→
08/22 19:27, 6年前 , 6F
model capacity 小，要找的最佳 function 不在 model 裡
08/22 19:27, 6F
→
08/22 19:27, 6年前 , 7F
面
08/22 19:27, 7F
→
08/25 23:13, 6年前 , 8F
舉個例來說:若有個vgg模型只有一層卷積，
08/25 23:13, 8F
→
08/25 23:13, 6年前 , 9F
分類imagenet的準確率不會高到哪去。
08/25 23:13, 9F
→
08/25 23:13, 6年前 , 10F
但拿比vgg19要小的vgg16來比較，
08/25 23:13, 10F
→
08/25 23:13, 6年前 , 11F
收斂的有比較快，準確率也差不多。
08/25 23:13, 11F
→
08/26 00:05, 6年前 , 12F
所以得先確定小模型能收斂到什麼程度再比較
08/26 00:05, 12F
→
08/28 02:31, 6年前 , 13F
了解 謝謝各位
08/28 02:31, 13F
‣ 更多 Activation 的文章
文章代碼(AID): #1RV4Eir3 (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 Activation 的文章
文章代碼(AID): #1RV4Eir3 (DataScience)