[討論] Dense layer 的特性
最近在研究Similarity of Neural Network Representations Revisited，主要是通過比
較layers的output是否正交，用以確定每個layer使否確實都有作用。
讀完以後我想說是否權重也存在方法可以得出哪個network學習的比較出色之類，所以我
想先從dense layer出發，想說他的weight是否有存在一些假設，例如訓練完後權重仍接
近均勻分布是否有對應的性質之類的?
在網路上搜尋一圈好像沒看到再講這一塊比較基礎的，想請問各位是否有相關資訊。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.137.147.127 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1607867007.A.B65.html
推
12/14 00:00,
3年前
, 1F
12/14 00:00, 1F
有點沒get到這跟正則有甚麼關係
推
12/14 17:41,
3年前
, 2F
12/14 17:41, 2F
→
12/14 17:41,
3年前
, 3F
12/14 17:41, 3F
→
12/14 17:41,
3年前
, 4F
12/14 17:41, 4F
→
12/14 17:41,
3年前
, 5F
12/14 17:41, 5F
理想的output是正交，但是weight也適用的文章我還沒看過。 當前dense layer的大多預
設是採用uniform distribution，然後train好後大部分都會變成高斯分佈，主要是卡在
這個分佈的轉換有沒有相關的研究。像你提到的ole就透過修改loss迫使網路呈現出這特
定性質。
推
12/14 20:34,
3年前
, 6F
12/14 20:34, 6F
→
12/14 20:35,
3年前
, 7F
12/14 20:35, 7F
→
12/14 20:36,
3年前
, 8F
12/14 20:36, 8F
不是討論feature的問題，而是單純討論information在layer之間傳遞的變化。
推
12/15 09:52,
3年前
, 9F
12/15 09:52, 9F
起因是我發現有些Network在well-train後weight仍是uniform，這個現象我認為有點反常
，畢竟normal比較符合少數資訊決定結果的假設。
※ 編輯: acctouhou (42.72.241.212 臺灣), 12/15/2020 17:28:28
推
12/16 17:45,
3年前
, 10F
12/16 17:45, 10F
→
12/16 17:45,
3年前
, 11F
12/16 17:45, 11F
→
12/16 17:49,
3年前
, 12F
12/16 17:49, 12F
→
12/16 17:49,
3年前
, 13F
12/16 17:49, 13F
DataScience 近期熱門文章
PTT數位生活區 即時熱門文章
