[問題] 視覺辨識的幾個問題

看板DataScience作者 (小笨)時間4年前 (2020/02/28 05:04), 編輯推噓2(2018)
留言20則, 4人參與, 4年前最新討論串1/1
各位前輩好,我最近在練習用pytorch來實踐最初的幾個架構 但是遇到了一些問題 1. 我知道類別上如果太過不平衡可能會導致模型學習上會出現問題,例如 癌症篩檢,假如癌症病人佔1%而健康的人佔99%,這樣的話如果用一般方法來訓練 模型應該都會分類成健康的人而檢測不出癌症病人。解法通常都是用權重化的 目標函數來解決。我現在的問題是假如我的類別只有一種,比如說狗,但是狗有三種型態 分別是正面圖,左面圖與右面圖。正面圖佔了80%而其他兩種佔了10%。這樣的話會 對分類造成影響嗎。他們的標籤都是狗只是圖片類型不一樣而已。 2. 我目前用了pytorch寫了alexnet與VGG系列的模型並用cifar10來做測試,想請問 訓練的時候error上上下下的是屬於正常的範疇嗎,他都會往比較低的方向跑但不是每 次更新都是往下跑而是上上下下反反覆覆。 3.承上題,我在搭VGG的時候發現19層的架構沒有辦法訓練而11層的可以,想請問是因為 cifar10的資料太小,用這麼深的架構沒有辦法訓練嗎。因為imagenet現在都不開放了 而我申請授權過了十幾天都沒有下文,不知道怎麼樣才能測試這些架構。 我在這邊放上我現在用的google colab希望有空的版友可以幫忙看一下我是不是 寫錯或者疏漏了什麼 https://reurl.cc/M7Yojp -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 73.189.185.80 (美國) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1582837474.A.8C2.html

02/28 08:47, 4年前 , 1F
1標籤都是狗那你要分類的是什麼 不太懂 2趨勢是下降就正
02/28 08:47, 1F

02/28 08:47, 4年前 , 2F
常 3沒有辦法訓練是指什麼 梯度爆炸嗎
02/28 08:47, 2F

02/28 09:14, 4年前 , 3F
應該說狗是其中一類label但是狗的訓練圖片又有三種方向
02/28 09:14, 3F

02/28 09:14, 4年前 , 4F
但是我們的結果不需要知道是正面狗 右側的狗或左側的狗
02/28 09:14, 4F

02/28 09:15, 4年前 , 5F
只需要知道是狗就好了,那這三種角度的狗的圖片比例不是
02/28 09:15, 5F

02/28 09:15, 4年前 , 6F
1:1:1的話 對於結果會有負面的影響嗎
02/28 09:15, 6F

02/28 09:15, 4年前 , 7F
感謝第二點的回答,第三點我知道為什麼了,我忘記加
02/28 09:15, 7F

02/28 09:16, 4年前 , 8F
optimizer.zero_grad了 導致前面的gradient一直累積到
02/28 09:16, 8F

02/28 09:16, 4年前 , 9F
後面了
02/28 09:16, 9F

02/28 10:31, 4年前 , 10F
1.可能會影響可能不會 hard example mining或focal loss
02/28 10:31, 10F

02/28 10:32, 4年前 , 11F
就是用來解決這問題 正常的樣本有些很好分有些很難分
02/28 10:32, 11F

02/28 10:34, 4年前 , 12F
你要看看你的模型在三種角度下,分類的正確率有沒有差異
02/28 10:34, 12F

02/28 10:36, 4年前 , 13F
如果某個角度的狗分類正確率特別差,那再考慮變更權重
02/28 10:36, 13F

02/28 11:13, 4年前 , 14F
感謝樓上的分享,我會查一下hard example mining
02/28 11:13, 14F

02/28 11:14, 4年前 , 15F
focal loss我在retinanet裡面看過,我會稍微研究一下
02/28 11:14, 15F

02/28 16:05, 4年前 , 16F
1要看你要應用在什麼樣的data上面,model會忠實呈現你
02/28 16:05, 16F

02/28 16:06, 4年前 , 17F
的訓練,如果正面照比例很高的話正面的acc就會比較好
02/28 16:06, 17F

02/28 16:07, 4年前 , 18F
你可以刻意用不同正面側面背面比例的test data去驗證
02/28 16:07, 18F

02/29 16:07, 4年前 , 19F
好的,我會在接下來的實驗上,特地測試稀少的類別
02/29 16:07, 19F

02/29 16:07, 4年前 , 20F
感謝您的回答
02/29 16:07, 20F
文章代碼(AID): #1UM2xYZ2 (DataScience)
文章代碼(AID): #1UM2xYZ2 (DataScience)