PTT數位生活區 / DataScience

[問題] 異常檢測屬於不平衡資料情況嗎

看板DataScience作者 (小刀會序曲)時間5年前 (2019/02/20 20:46), 5年前編輯推噓4(4推 0噓 12→)
留言16則, 2人參與, 5年前最新討論串1/1
如題， 兩個共同點都是在某個類別下的樣本數很少。但不太知道差在哪 還是異常檢測是一種預測不平衡資料的方法？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.72.116.103 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1550666766.A.60D.html ※ 編輯: disney82231 (42.72.116.103), 02/20/2019 20:56:41
推
02/21 15:54, 5年前 , 1F
一般常講的異常檢測指的是非監督式的異常檢測，就是說訓
02/21 15:54, 1F
→
02/21 15:56, 5年前 , 2F
練的時候假設所有訓練資料都是正常的樣本，用正常資料建
02/21 15:56, 2F
→
02/21 15:56, 5年前 , 3F
立模型
02/21 15:56, 3F
但沒有label的情況下，要怎麼判斷該樣本是否正常？
→
02/21 15:57, 5年前 , 4F
而不平衡資料則是屬於一般的監督式學習
02/21 15:57, 4F
→
02/21 15:58, 5年前 , 5F
差別就是在於有沒有label
02/21 15:58, 5F
※ 編輯: disney82231 (182.234.222.206), 02/22/2019 03:13:08
推
02/22 14:01, 5年前 , 6F
如果你是問沒有label要如何計算效能，測試的時候其實還
02/22 14:01, 6F
→
02/22 14:01, 5年前 , 7F
是需要有label來驗證演算法的效能
02/22 14:01, 7F
→
02/22 14:02, 5年前 , 8F
大部分論文的做法都是根據label挑選出正常樣本集合的一
02/22 14:02, 8F
→
02/22 14:02, 5年前 , 9F
部分當作訓練集，在拿剩下的當作測試
02/22 14:02, 9F
意思不平衡資料需要異常分類的樣本建模，而異常檢測只需正常的，也能測出異常的樣本 嗎？ ※ 編輯: disney82231 (111.71.46.175), 02/22/2019 20:55:25
推
02/23 18:53, 5年前 , 10F
是這樣沒錯
02/23 18:53, 10F
推
03/11 19:59, 5年前 , 11F
異常檢測可以透過離群點找出，主要是因為異常資料太少了
03/11 19:59, 11F
→
03/11 19:59, 5年前 , 12F
，除非你可以主動生成異常的資料，那就可以把outlier視
03/11 19:59, 12F
→
03/11 19:59, 5年前 , 13F
為不平衡的，要不然通常假定outlier就是不可知的。當然
03/11 19:59, 13F
→
03/11 19:59, 5年前 , 14F
無監督方式找離群點不一定有效就是了，通常借助一些eval
03/11 19:59, 14F
→
03/11 19:59, 5年前 , 15F
uation的方式評估做tradeoff，反而比你去做無監督找離群
03/11 19:59, 15F
→
03/11 19:59, 5年前 , 16F
有效
03/11 19:59, 16F
‣ 更多 disney82231 的文章
文章代碼(AID): #1SRKmEOD (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 disney82231 的文章
文章代碼(AID): #1SRKmEOD (DataScience)