[問題] label smoothing 為什麼能避免overfit?

看板DataScience作者 (AlbertHSU)時間2年前 (2022/03/19 22:14), 2年前編輯推噓2(206)
留言8則, 4人參與, 2年前最新討論串1/1
ctrl + y 可以刪除一整行,請將不需要的內容刪除 文章分類提示: - 問題: 當你想要問問題時,請使用這個類別。 - 討論: 當你自己已經有答案,但是也想聽聽版友意見時。 - 情報: 當你看到消息時,請使用這個類別。 根據板規規定,做適當的轉換,以及摘錄重要文意。 - 心得: 當你自己想要分享經驗時,請使用這個類別。 (回答並非義務,所以當有人回答時,哪怕句謝謝也好,多多回應,大E可編輯文章) 可以試著把程式碼用網站貼出來唷 https://pastebin.com/ (如果用不到以下框架,如觀念問題請自行視情況刪除作業系統,使用工具等項目) 問題類別: ML 問題內容: 各位大神、大大好,想問一下大家 label smoothing為什麼能改善overfitting的發生? 我在各文章 主要看到的說法是一般的hard label (one hot), 可能造成模型過於自信(o ver confidence) 使得 在預測test data時,表現差(not robust )。因此,如果使用 soft label ,較能能避免這種狀況。 使用soft label 能避免overfit 的說法,沒有很能體悟,所以想請各位大神、大大開導 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.218.35.172 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1647699266.A.1D2.html ※ 編輯: hsuchengmath (124.218.35.172 臺灣), 03/19/2022 22:15:25

03/20 00:28, 2年前 , 1F
拿社會舉例 如果教育孩童 世上只有黑與白 會發生啥?
03/20 00:28, 1F

03/20 14:26, 2年前 , 2F
你去看一下 GMM 可以解決 KNN 什麼問題 大概那種感覺
03/20 14:26, 2F

03/20 23:24, 2年前 , 3F
soft clustering
03/20 23:24, 3F

03/21 15:15, 2年前 , 4F
假設我判定一個東西是 A 70% B 30%
03/21 15:15, 4F

03/21 15:16, 2年前 , 5F
如果 hard label 就只會標A Soft 會標A和B和比利的話
03/21 15:16, 5F

03/21 15:16, 2年前 , 6F
這樣在feed回去前者只會得到A的資訊
03/21 15:16, 6F

03/21 15:17, 2年前 , 7F
而後者會有一個模糊的可能性和機率
03/21 15:17, 7F

03/21 15:18, 2年前 , 8F
後者可以想成模糊正確 為了 generlization 放棄一點acc
03/21 15:18, 8F
文章代碼(AID): #1YDUL27I (DataScience)
文章代碼(AID): #1YDUL27I (DataScience)