[問題] 分類問題最後的softmax前要activation嗎?
問題類別:DL
請問各位前輩
在分類的NN例如CNN＋DNN 最後一層會接到softmax來map到0.0~1.0的output
那想請問最後一層(假設最後是DNN）(就是softmax前一層）
後面還要加activation function嗎？
有這個疑問是因為我想到softmax是用exponential
原本就有nonlinearity的作用
前面再先經過activation function（例如reLU)
好像是多此一舉？而且可能會把更多information丟掉(譬如reLU把<0的丟掉）
目前我自己實驗比較有加沒加在CNN實作上, 都是train的起來的
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.159.135
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1524488842.A.03F.html
→
04/23 21:33,
6年前
, 1F
04/23 21:33, 1F
推
04/23 22:15,
6年前
, 2F
04/23 22:15, 2F
→
04/23 22:15,
6年前
, 3F
04/23 22:15, 3F
→
04/23 22:26,
6年前
, 4F
04/23 22:26, 4F
→
04/23 22:26,
6年前
, 5F
04/23 22:26, 5F
推
04/23 22:52,
6年前
, 6F
04/23 22:52, 6F
→
04/23 22:52,
6年前
, 7F
04/23 22:52, 7F
推
04/24 11:05,
6年前
, 8F
04/24 11:05, 8F
→
04/24 11:05,
6年前
, 9F
04/24 11:05, 9F
可是無論如何你最後還是要經過softmax阿 這樣梯度消失的問題還是存在
還是你認為先經過ReLU再經過softmax會讓梯度消失的問題減少？
我可能不像你那麼聰明 我覺得我看不出來先經過ReLU再經過softmax對梯度消失有什麼
特別幫助
※ 編輯: Haikyuu (140.112.25.99), 04/24/2018 15:49:29
推
04/24 19:00,
6年前
, 10F
04/24 19:00, 10F
→
04/24 19:00,
6年前
, 11F
04/24 19:00, 11F
→
04/24 19:58,
6年前
, 12F
04/24 19:58, 12F
→
04/24 19:59,
6年前
, 13F
04/24 19:59, 13F
→
04/24 20:44,
6年前
, 14F
04/24 20:44, 14F
推
04/25 00:08,
6年前
, 15F
04/25 00:08, 15F
→
04/25 00:09,
6年前
, 16F
04/25 00:09, 16F
推
04/25 08:36,
6年前
, 17F
04/25 08:36, 17F
→
04/25 08:36,
6年前
, 18F
04/25 08:36, 18F
推
04/27 02:26,
6年前
, 19F
04/27 02:26, 19F
DataScience 近期熱門文章
PTT數位生活區 即時熱門文章
