[問題] 影片辨識率的設計準則

看板DataScience作者 (維尼X維尼)時間5年前 (2019/07/29 12:46), 5年前編輯推噓3(3016)
留言19則, 2人參與, 5年前最新討論串1/1
各位先進好, 想請問各位在訓練完權重後 下去跑影片辨識 跑完後該怎麼去計算辨識率呢? 或是有沒有一個評分系統呢? 如果我的Dataset有提供一個測試集,裡面有標記好的正確答案。 這樣進行辨識後,應該如何去做“標準答案”與“辨識結果”兩個之間的評分呢? 謝謝各位先進 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.8.0.243 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1564375591.A.A22.html

07/29 12:59, 5年前 , 1F
Accuracy MAP 等等都可
07/29 12:59, 1F
前輩說的的確是。 accuracy是指在某個frame中,一共辨識到的物件/全部的物件,不知道我的理解有沒有錯 誤? mAP用到的是資料統計的部分,目前還在讀,目前已經有工具可以計算訓練好的權重,其m AP為多少。 但是,我想針對的是辨識結果來做評分。 另外,我在想的問題是: 當今天我的標準答案在frame 1時,一共標註了5個物件,分別是3台車、2個人;辨識後的 結果在frame 1時,一共標註了4個物件,分別是2台車、1個人。 這樣的話, 第一步,我應該去對兩個框做比對。 第二步,比對辨識後的類別是否正確 。 第三步,計算IoU。 第四步,輸出結果。 重複上述步驟,直到影片讀取完畢。 問題來了: 1.這樣少辨識到一台車,應該怎麼計算評分? 2.在比對的過程,標準答案中如果有兩個相同的物件非常接近。然而,辨識結果卻把兩個 物件視為同一個物件的話,這樣又應該如何計分呢? ※ 編輯: wargods8402 (163.21.76.158 臺灣), 07/29/2019 14:11:36

07/29 14:43, 5年前 , 2F
先去弄懂mAP
07/29 14:43, 2F

07/29 14:48, 5年前 , 3F
如果有特別需要 就再自己修改
07/29 14:48, 3F

07/29 18:47, 5年前 , 4F
如果是這樣的case就自己設計,例如每個預測出來的box
07/29 18:47, 4F

07/29 18:47, 5年前 , 5F
都去match一個真實資料(用iou),然後可以算 miss det
07/29 18:47, 5F

07/29 18:47, 5年前 , 6F
ection 跟false alarm,這樣的數字應該會比mAP來的更
07/29 18:47, 6F

07/29 18:47, 5年前 , 7F
讓人一看數字就理解
07/29 18:47, 7F

07/29 18:51, 5年前 , 8F
例如原本是辨識車,分別統計正確match車、有match但
07/29 18:51, 8F

07/29 18:51, 5年前 , 9F
辨識錯類別、完全漏掉一台車、把一台車辨識成其他東
07/29 18:51, 9F

07/29 18:51, 5年前 , 10F
西等等這些數據當作評分
07/29 18:51, 10F
對對對!我要的就類似這樣,所以才想上來問問看,不知道有沒有這樣的評分系統或是諸 如此類的計算工具,感謝 ※ 編輯: wargods8402 (39.11.71.199 臺灣), 07/29/2019 20:57:53

07/29 21:42, 5年前 , 11F
基本上我都是自己寫,算出每張frame的統計再平均一下
07/29 21:42, 11F

07/29 21:42, 5年前 , 12F
就很有用了
07/29 21:42, 12F
那可以跟您請教這種的評分方式,您是怎麼計分的嗎@@?謝謝 ※ 編輯: wargods8402 (39.11.71.199 臺灣), 07/29/2019 22:09:37

07/30 00:59, 5年前 , 13F
就像我上面說的啊,把每一種可能用到的情況都統計出
07/30 00:59, 13F

07/30 00:59, 5年前 , 14F
來,如果你的應用可以接受漏標但是不能接受誤判,那就
07/30 00:59, 14F

07/30 00:59, 5年前 , 15F
用 false alarm低的,反之如果希望盡量不要漏標,就挑
07/30 00:59, 15F

07/30 00:59, 5年前 , 16F
miss detection 低的,一切都看個人應用
07/30 00:59, 16F
應該是說,如果在多個評分的標準下,這樣會產生多個分數出來。並不是只有一個分數而 已,不知道這樣解釋對不對,謝謝 ※ 編輯: wargods8402 (163.21.76.158 臺灣), 07/30/2019 12:12:28

07/30 18:07, 5年前 , 17F
是的
07/30 18:07, 17F

07/30 18:09, 5年前 , 18F
也是有類似f1-score之類的可以參考看看,不過通常每
07/30 18:09, 18F

07/30 18:09, 5年前 , 19F
項分開看我覺得更有用一些
07/30 18:09, 19F
文章代碼(AID): #1TFdedeY (DataScience)
文章代碼(AID): #1TFdedeY (DataScience)