PTT數位生活區 / DataScience

[問題] 多標籤任務(Multi-Label)模型評估

看板DataScience作者時間5年前 (2019/08/24 17:47), 5年前編輯推噓6(6推 0噓 6→)
留言12則, 7人參與, 5年前最新討論串1/1
各位大大好,最近小弟用keras在進行一個多標籤(不是多分類)模型的訓練, ex: # Samples y_true = np.array([[1,1,0,0,1], [1,0,1,1,0], [0,1,1,0,0]]) y_pred = np.array([[0,1,1,1,1], [1,0,0,1,1], [1,0,1,0,0]]) 想問的是,在實務上對於這種任務的模型效能應該怎麼評估? 目前我是爬文後參考網路上的建議,採用: model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) 算出來的分數很高,但感覺有點怪怪的,不太確定這樣的評估標準是根據什麼? 一般二分類的分數計算較為直觀且易於驗算, 但在這邊有點難以理解~"~ 懇請各位大大不吝指點, 感恩 <(_*_)> -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.84.186 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1566640034.A.510.html
推
08/24 17:57, 5年前 , 1F
那個loss就是把每一個label都當作一個二分類問題來做，
08/24 17:57, 1F
→
08/24 17:57, 5年前 , 2F
至於matric其實可以自己寫你要的效能判斷式，比如我之前
08/24 17:57, 2F
→
08/24 17:57, 5年前 , 3F
在做通訊工程問題就是算overall capacity ，不一定要拘
08/24 17:57, 3F
→
08/24 17:57, 5年前 , 4F
泥在他的matrices
08/24 17:57, 4F
推
08/24 20:04, 5年前 , 5F
multi label用precision recall來看比較好吧？
08/24 20:04, 5F
推
08/24 20:43, 5年前 , 6F
precision recall f1-score
08/24 20:43, 6F
→
08/24 20:49, 5年前 , 7F
必須要自己寫generator
08/24 20:49, 7F
之前做二分類的時候有使用: Accuracy / Precision / Recall / F1-measure / ROC&AUC 這些指標 在多標籤這邊要用的話,是要針對個別的label去計算上述指標分數嗎? 有沒有一種指標是以整體來評估的呢? ※ 編輯: clairehuei (1.160.84.186 臺灣), 08/24/2019 21:44:38 ※ 編輯: clairehuei (1.160.84.186 臺灣), 08/24/2019 21:45:05
推
08/27 18:15, 5年前 , 8F
我覺得 要看你到底想要評估什麼才對 不是說找個指
08/27 18:15, 8F
→
08/27 18:15, 5年前 , 9F
標就好 是看你有什麼期望才對吧？
08/27 18:15, 9F
推
08/28 09:55, 5年前 , 10F
不然你自己對每個類別的F1做加權如何 之後再看各類
08/28 09:55, 10F
→
08/28 09:55, 5年前 , 11F
別的recall/precision
08/28 09:55, 11F
推
08/30 19:19, 5年前 , 12F
使小數點第一位四捨五入，取整數，計算完全相同的比例
08/30 19:19, 12F
‣ 更多 clairehuei 的文章
文章代碼(AID): #1TOGUYKG (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 clairehuei 的文章
文章代碼(AID): #1TOGUYKG (DataScience)