[問題] 相似物體的物件偵測及實例分割 confidence threshold 設置

看板DataScience作者 (呵呵呵呵呵)時間5年前 (2019/06/27 14:31), 編輯推噓2(2020)
留言22則, 2人參與, 5年前最新討論串1/1
作業系統: win10 問題類別: Faster R-CNN、Mask R-CNN 使用工具: python 問題內容: 各位版友好 小弟最近在接觸物件辨識相關應用(商品辨識) 對於輸出結果的confidence threshold設置有些疑問 假設模型訓練時精度已經非常高的情況下,將辨識種類分為兩種 1.辨識的種類差異很大 confidence threshold可以設的非常高,ex:0.9 2.辨識的種類非常相似 confidence threshold設0.9幾乎找不到結果,如果設0.5甚至更低才會有輸出 很相似的種類在訓練時雖然得到很好的結果,但訓練資料不會完全符合實際應用的變化 故設太高可能會辨識不到,設太低可能會得到很多錯誤的結果 不知道一般會怎麼決定confidence threshold呢? 感覺這跟辨識的東西差異性大不大是相依的問題 面對細粒度物件辨識問題時該怎麼決定輸出閾值呢? 目前使用物件偵測Faster R-CNN 及實例分割 Mask R-CNN都會遇到一樣的問題 想請有經驗的幫忙解惑 謝謝! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 211.21.182.85 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1561617119.A.03B.html

06/27 19:22, 5年前 , 1F
做precision recall
06/27 19:22, 1F

06/27 19:28, 5年前 , 2F
大量測試下看你實際上應用需要的狀況,像你偵測癌症就會
06/27 19:28, 2F

06/27 19:28, 5年前 , 3F
希望recall高一點,誤判好細胞比讓癌症沒被殺死還要重要
06/27 19:28, 3F

06/27 19:33, 5年前 , 4F
更正一下,意思是你把正常細胞判錯沒關係,但是如果癌
06/27 19:33, 4F

06/27 19:33, 5年前 , 5F
細胞沒全殺光,有機會讓癌細胞擴散,那你的這套算法會
06/27 19:33, 5F

06/27 19:33, 5年前 , 6F
讓醫院賠死
06/27 19:33, 6F

06/27 19:36, 5年前 , 7F
所以才要recall高一點,其他應用也是一樣,看你希望應
06/27 19:36, 7F

06/27 19:36, 5年前 , 8F
用上能盡可能抓到全部的東西,那就recall高一點,你希
06/27 19:36, 8F

06/27 19:36, 5年前 , 9F
望盡量不要一直抓錯,那precision就高一點,但是相對來
06/27 19:36, 9F

06/27 19:36, 5年前 , 10F
說miss的機率就會提高
06/27 19:36, 10F

06/27 19:38, 5年前 , 11F
當然你也可以重頭重新標註資料,提升標註品質,那你rcnn
06/27 19:38, 11F

06/27 19:38, 5年前 , 12F
正確率也會提高
06/27 19:38, 12F

06/27 21:08, 5年前 , 13F
先謝謝您的回覆,您說的比較像瑕疵辨識,寧可錯殺也
06/27 21:08, 13F

06/27 21:08, 5年前 , 14F
不放過任何一個
06/27 21:08, 14F

06/27 21:12, 5年前 , 15F
但我的應用上不只有兩個分類,可能沒辦法用這個方法
06/27 21:12, 15F

06/27 21:19, 5年前 , 16F
目前我是打算先用物件偵測找出物品位置再做分類辨識
06/27 21:19, 16F

06/27 21:21, 5年前 , 17F
將辨識問題拆為兩段,物件偵閾值應該就能設比較高了
06/27 21:21, 17F

06/27 21:40, 5年前 , 18F
多分類是可以比照二分類的方式,畫PR曲線找到比較理想
06/27 21:40, 18F

06/27 21:40, 5年前 , 19F
的threshold。
06/27 21:40, 19F

06/27 21:41, 5年前 , 20F
上面只是舉例二分類,多分類一樣能透過pr找到threshold
06/27 21:41, 20F

06/27 21:41, 5年前 , 21F
較佳值。
06/27 21:41, 21F

06/27 21:52, 5年前 , 22F
了解 謝謝您的分享
06/27 21:52, 22F
文章代碼(AID): #1T56BV0x (DataScience)
文章代碼(AID): #1T56BV0x (DataScience)