[討論] VGG16和adam

看板DataScience作者fragmentwing (片翼碎夢)時間1年前 (2023/04/29 17:41)推噓6(6推 0噓 28→)

留言34則, 6人參與討論串1/1

ctrl + y 可以刪除一整行，請將不需要的內容刪除文章分類提示: - 問題: 當你想要問問題時，請使用這個類別。 - 討論: 當你自己已經有答案，但是也想聽聽版友意見時。 - 情報: 當你看到消息時，請使用這個類別。根據板規規定，做適當的轉換，以及摘錄重要文意。 - 心得: 當你自己想要分享經驗時，請使用這個類別。 [關鍵字]:VGG [重點摘要]: 這是之前版上那篇驗證accuarcy完全沒變的回文，但是因為問題已經解決而且有新疑問所以發新文章並改用討論作為分類主要想討論的問題是，VGG真的和ADAM處不好?我是在網上看到有人講這件事改用SGD後loss才有在明顯變動他的說法是ADAM遇到VGG等參數大的模型就會失常，他還說是常識但我是第一次看到QAQ (板友chang1248w指這是錯誤資訊) 一方面我自己改成SGD後總算是能開始訓練，另一方面卻也看到有人用使用ADAM的VGG去做cifar10 我也有在猜這次的分類任務是二分法這點會不會也有影響而這次訓練的資訊如下: pastebin:https://pastebin.com/H3MeGvht 模型:VGG16 目的:參照https://youtu.be/2xMLlm_VDJE

，訓練出能區分究竟是不是pizza的神經網路資料:food-101，其中pizza的部分請參考該影片以剃除被錯誤分進pizza資料集的圖片這次我使用的是1000張pizza(刪除後不足的用自己寫的爬蟲抓圖片進來補) 而作為對照組的非pizza資料則從food-101的其他食物圖片中各選10張，總計1000張結果:收斂過程對於valid資料集滿不穩定的，最終大概收在accuracy 81~82% 設定的收斂條件為當valid_loss不再下降5次時學習率*0.2，不再下降超過10次停止 loss: https://imgur.com/yBcU0G3

accuracy: https://imgur.com/e6w1xM4

precision: https://imgur.com/Xmd8fdA

-- https://i.imgur.com/h4Q0F04.jpg

9月23日發生大事了因為就在這天，加藤惠誕生了 https://i.imgur.com/H3RhXfJ.jpg

-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.77.97.142 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1682761290.A.175.html ※ 編輯: fragmentwing (42.77.97.142 臺灣), 04/29/2023 17:49:30

→

lycantrope

04/29 17:57, 1年前 , 1^F

04/29 17:57, 1^F

謝謝大大提供意見試著照大大提供的資訊更改，雖然前幾個epoch裡loss有在下降，但是大概第4~5個epoch開始就一樣沒有再下降了 accuracy也是在50%左右變動大大會這麼建議應該是因為pytorch的crossentropyloss會在內部做一次softmax的緣故吧滿詭異的，剛剛試著用sgd但是取消softmax而直接用輸出來跑一開始以為沒有變化，但後來發現準確率有微幅上升 30個epochs後accuracy從50%升到61%

推

st1009

04/29 18:15, 1年前 , 2^F

04/29 18:15, 2^F

推

st1009

04/29 18:16, 1年前 , 3^F

04/29 18:16, 3^F

可以的話超感謝，請問也是用pytorch寫的嗎? resnet是用來解決梯度消失，正好可以拿來對照，也很好奇分類項目到底會不會影響梯度消失的程度這幾天正在準備用整個food-101做分類訓練(101個分類)來比較結果 (準備aka把東西傳到google雲端，一個epoch跑20分鐘在自己電腦上有點吃不消，目前已經傳了第二天了) ※ 編輯: fragmentwing (42.77.97.142 臺灣), 04/29/2023 18:40:09

→