PTT數位生活區 / DataScience

[問題] batchsize 怎麼調?

看板DataScience作者 (asdfgh)時間6年前 (2018/05/01 01:35), 編輯推噓0(0推 0噓 12→)
留言12則, 4人參與, 6年前最新討論串1/1
問題類別:(ex：ML,SVM,RL,DL,RNN,CNN,NLP,BD,Vis,etc...) CNN 問題內容: 最近看到一篇group normalization 說是batchsize小的時候會比batch normalization error rate小 但是看他圖畫的都是小於32以下 想到以前經驗都是增加 batchsize來快一點 想問什麼時候會要將 batchsize調小? 什麼時候要調大? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.25.217 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1525109735.A.3EB.html
→
05/01 02:11, 6年前 , 1F
可以去看李弘毅老師的這個課程中Gradient Descent
05/01 02:11, 1F
→
05/01 02:12, 6年前 , 2F
的部分，裡面對batch size的概念說明的蠻清楚的
05/01 02:12, 2F
→
05/01 02:12, 6年前 , 3F
補充 Machine Learning的課程
05/01 02:12, 3F
→
05/01 02:58, 6年前 , 4F
決的train acc有上升但太慢=>加大batch size
05/01 02:58, 4F
→
05/01 02:59, 6年前 , 5F
發現train acc卡住=>減小batch size
05/01 02:59, 5F
→
05/01 02:59, 6年前 , 6F
我昰這樣做的
05/01 02:59, 6F
→
05/01 13:17, 6年前 , 7F
我想跟餵的資料也有關，如資料都類似，batchsize可小些
05/01 13:17, 7F
→
05/01 14:40, 6年前 , 8F
BN雖然好用但BP時所有FP資料都得要存在同一個GPU上
05/01 14:40, 8F
→
05/01 14:42, 6年前 , 9F
模型太大的話根本做不到,GN可以讓模型大小繼續變大的
05/01 14:42, 9F
→
05/01 14:42, 6年前 , 10F
同時繼續享受BN帶來的好處 batch大小其實跟BN彼此可以
05/01 14:42, 10F
→
05/01 14:43, 6年前 , 11F
互相獨立的,可以開1024的batch拆成8組丟到8顆GPU上各
05/01 14:43, 11F
→
05/01 14:43, 6年前 , 12F
自做BN
05/01 14:43, 12F
‣ 更多 lunashining 的文章
文章代碼(AID): #1QvrFdFh (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 lunashining 的文章
文章代碼(AID): #1QvrFdFh (DataScience)