PTT數位生活區 / DataScience

[問題] 多種類分類

看板DataScience作者 (小笨)時間4年前 (2020/09/30 23:57), 編輯推噓2(2推 0噓 6→)
留言8則, 4人參與, 4年前最新討論串1/1
先說抱歉，標題可能不是很容易理解 我現在的問題是一般imagenet類別的問題都是多種分類裡面選一種 因此output layer的activation function常是softmax 然後再計算cross entropy loss 我現在的問題是我的問題是有多個label的 假如我的輸出可能是10維的向量 那label可能就是[0, 2, 4, 7, 9] 五個不同的值 我希望在0, 2, 4, 7, 9這五維輸出1 剩下的維度輸出0 我想問的問題是，如果我的模型的output layer輸出10維向量 並對每一個元素使用sigmoid function使其成為一個0到1的機率 接著一樣用cross entropy來作為loss function 這樣的方式來frame這個問題是正確或者說可行的嗎 我這個想法是李弘毅老師團隊的一篇Paper Temporal Pattern Attention for Multivariate Time Series Forecasting 裡面提到說因為很多varaibles都會對預測有很好的效果 因此他們用sigmoid對attention的output做處理 這樣的話多個variables都可以同時被納入考量 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.134.15.129 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1601481441.A.ED3.html
推
10/01 01:27, 4年前 , 1F
sigmoid完後面要做10個BCE不能做CE，CE是會發生類別之
10/01 01:27, 1F
→
10/01 01:27, 4年前 , 2F
間activation的壓縮
10/01 01:27, 2F
→
10/01 09:35, 4年前 , 3F
感謝w大，我後面的cross entropy是簡寫而已，感謝回覆
10/01 09:35, 3F
推
10/03 19:43, 4年前 , 4F
這就multilable classification囉 很多資料的
10/03 19:43, 4F
→
10/04 15:11, 4年前 , 5F
感謝g大，我會順著這個關鍵字去找找看有沒有其他論文
10/04 15:11, 5F
→
10/14 01:17, 4年前 , 6F
ce是裡面有機率的意味在，和多頭注意力不能類比
10/14 01:17, 6F
→
10/14 01:20, 4年前 , 7F
不如試試看十維輸出十個BCE，然後做voting
10/14 01:20, 7F
→
10/14 01:20, 4年前 , 8F
效果應該和做一個BCE差不了多少
10/14 01:20, 8F
‣ 更多 clansoda 的文章
文章代碼(AID): #1VTAhXxJ (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 clansoda 的文章
文章代碼(AID): #1VTAhXxJ (DataScience)