PTT數位生活區 / DataScience

[問題] 標記的圖片數據集,樣本個體之間差異性太小

看板DataScience作者 (督人無數就是我)時間1年前 (2022/05/23 00:21), 1年前編輯推噓6(6推 0噓 35→)
留言41則, 8人參與, 1年前最新討論串1/1
由專業人士標記的數據集, 他們當初深怕樣本之間差異性太大, (不知為何?) 刻意挑選了類似的母樣本. 結果, 導致他們在母樣本上標記出的圖片數據集, 樣本個體之間差異性太小. 隨便拿一個模型學習, 不進行data augumentation, test accuracy都能輕鬆超過95% 進行data augumentation後, 有些模型可達到99% 指導教授也同意我的結論, 覺得這樣只是訓練出一個在單一條件下獨斷的分類器, 不能寫什麼研究論述. 想要求專業人士多找些不類似的母樣本, 請他們標記. 他們覺得好累好煩, 標記好花時間, 拼命拒絕, 反問應該有什麼方法能解決這個問題? 我原先提出Few-Shot,Zero-Shot,GAN類,...的模型概念, 建議先嘗試看看輸出結果會如何. 後來在報告後, 雖然這些專家沒提出什麼進一步的想法. 但我突然發現不對, test accuracy還是會回到原來的問題, 樣本個體之間差異性太小. 怎麼驗證都會有好的結果. 想請問有什麼方法可以解決這個本質上的問題? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.51.13 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1653236464.A.B9A.html
推
05/23 00:30, 1年前 , 1F
自己標記最實在
05/23 00:30, 1F
→
05/23 03:29, 1年前 , 2F
semi supervise learning，盧專家每個母體標注一些就
05/23 03:29, 2F
→
05/23 03:29, 1年前 , 3F
好
05/23 03:29, 3F
→
05/23 03:31, 1年前 , 4F
或者你可以試著建模母體間的差異，把多語言翻譯模型
05/23 03:31, 4F
→
05/23 03:31, 1年前 , 5F
的概念斜槓過來(這只是在幹話
05/23 03:31, 5F
→
05/23 12:57, 1年前 , 6F
沒救
05/23 12:57, 6F
推
05/23 21:06, 1年前 , 7F
你是用什麼資料集？為什麼會有這個現象
05/23 21:06, 7F
→
05/24 00:10, 1年前 , 8F
你弄不弄得到沒有標記的數據?
05/24 00:10, 8F
→
05/24 02:20, 1年前 , 9F
去看一下semi supervise learning 怎麼和你的任務連
05/24 02:20, 9F
→
05/24 02:20, 1年前 , 10F
結，現在大部分的領域都有辦法做了
05/24 02:20, 10F
→
05/24 02:21, 1年前 , 11F
不過要找一下paper就是
05/24 02:21, 11F
→
05/24 02:23, 1年前 , 12F
這一塊發展的用意就是克服標注昂貴的問題
05/24 02:23, 12F
→
05/24 02:26, 1年前 , 13F
至於標注分佈狹隘得另外克服
05/24 02:26, 13F
推
05/24 12:06, 1年前 , 14F
也可以看看self-supervised pre-training
05/24 12:06, 14F
→
05/24 12:08, 1年前 , 15F
拿得到沒標記但是大量的data試試看semi-supervised或是sel
05/24 12:08, 15F
→
05/24 12:08, 1年前 , 16F
f-supervised都有機會變好
05/24 12:08, 16F
推
05/24 15:23, 1年前 , 17F
self-supervised learning和自己標
05/24 15:23, 17F
→
05/24 15:24, 1年前 , 18F
然後請專家再檢查標完的結果 他們可能比較願意
05/24 15:24, 18F
→
05/24 19:40, 1年前 , 19F
感覺他的任務可能是分割類型的，那他的資料量應該沒
05/24 19:40, 19F
→
05/24 19:40, 1年前 , 20F
辦法跑自監督
05/24 19:40, 20F
推
05/25 02:02, 1年前 , 21F
但你拿來judge的若都是那個test set你搞這堆有意義嗎
05/25 02:02, 21F
→
05/25 02:03, 1年前 , 22F
你至少要拿更符合母體的test set才能去評斷你做的事情
05/25 02:03, 22F
→
05/25 02:03, 1年前 , 23F
有沒有用
05/25 02:03, 23F
→
05/26 00:58, 1年前 , 24F
指叫不准我自己標,就算模型標,那些專家也推說很忙,不看.
05/26 00:58, 24F
→
05/26 04:22, 1年前 , 25F
遇到這種神人教授，只能說你加油啊。
05/26 04:22, 25F
→
05/26 04:24, 1年前 , 26F
這樣出來的結果感覺就不能發，我這邊看過的論文都是用
05/26 04:24, 26F
→
05/26 04:24, 1年前 , 27F
嚴謹的資料集去跑的
05/26 04:24, 27F
推
05/26 04:28, 1年前 , 28F
這樣發出去很容易被 challenge 資料集在亂做吧www
05/26 04:28, 28F
→
05/26 08:28, 1年前 , 29F
目前用比較大的dimension切samples,改成比較小Dimension
05/26 08:28, 29F
→
05/26 08:31, 1年前 , 30F
來切,總數量可以達至少2倍以上.我不指望指叫的誤人子弟!
05/26 08:31, 30F
→
05/26 08:53, 1年前 , 31F
你現在這些操作都做在test data上？不行吧
05/26 08:53, 31F
→
05/26 08:54, 1年前 , 32F
不如拿沒標記的raw data跑些unsupervised 的tasks，
05/26 08:54, 32F
→
05/26 08:54, 1年前 , 33F
至少有東西可以秀
05/26 08:54, 33F
→
05/26 08:56, 1年前 , 34F
標記很麻煩的話也一定程度代表用unsupervised 比較
05/26 08:56, 34F
→
05/26 08:56, 1年前 , 35F
合適
05/26 08:56, 35F
→
05/26 08:56, 1年前 , 36F
這幾天重新手動調整採樣比例分配,現階段不使用亂數分配.
05/26 08:56, 36F
→
05/26 13:25, 1年前 , 37F
也按照比例分割母體裡面的samples,希望能有好的結果...
05/26 13:25, 37F
→
05/31 20:01, 1年前 , 38F
用UNet訓練300個epochs,IOU@0.5=0.2,結果頗爛,怎麼辦?
05/31 20:01, 38F
→
05/31 20:47, 1年前 , 39F
想請問微調和改進模型方法和方式,感謝~
05/31 20:47, 39F
→
06/04 20:21, 1年前 , 40F
找任務sota摟
06/04 20:21, 40F
→
06/05 12:20, 1年前 , 41F
好,謝謝樓上大大的幫忙~
06/05 12:20, 41F
※ 編輯: ruthertw (180.217.243.20 臺灣), 08/19/2022 15:51:10
‣ 更多 ruthertw 的文章
文章代碼(AID): #1YYcBmkQ (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 ruthertw 的文章
文章代碼(AID): #1YYcBmkQ (DataScience)