PTT數位生活區 / DataScience

[問題] 類神經網路權重設定

看板DataScience作者 (強哥)時間5年前 (2019/03/26 17:12), 5年前編輯推噓5(5推 0噓 16→)
留言21則, 7人參與, 5年前最新討論串1/1
作業系統: Win10 問題類別: ANN 使用工具: MATLAB 問題內容: 自己在利用MATLAB工具箱做ANN模擬分類時， 參考書籍有提到權重值不應該無限制， 建議是設定在 [-2.4/Fi,2.4/Fi]區間內，對於這個2.4的值覺得很好奇是怎麼訂出來的? 網路上查不到相關資料、查了文獻說出處是在 Philip D. Wasserman的 Neural computing:theory and practice(1989)書中，但翻閱整本書也沒有找到， 想說上來請教各位先進，是否可以指引出處或是教導小弟怎麼推導這個值? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.9.35.68 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1553591567.A.1A2.html ※ 編輯: tigerbojo (101.9.35.68), 03/26/2019 17:13:29
推
03/26 20:40, 5年前 , 1F
依照經驗這個值應該是試出來的，現在NN感覺真的很沒有規範
03/26 20:40, 1F
→
03/26 22:12, 5年前 , 2F
經驗法則
03/26 22:12, 2F
推
03/27 13:14, 5年前 , 3F
有規範啊，只是都嘛結果導向，誰結果好誰就是規範
03/27 13:14, 3F
→
03/27 13:17, 5年前 , 4F
試出來的，不過一般來說，我們期望初始權重最好mean接
03/27 13:17, 4F
→
03/27 13:17, 5年前 , 5F
近或是等於0，var不要太大，大部分會試驗的方向就是用
03/27 13:17, 5F
→
03/27 13:17, 5年前 , 6F
高斯隨機或是均勻分佈隨機出來，剩下的就是試試看大概會
03/27 13:17, 6F
→
03/27 13:17, 5年前 , 7F
到哪裡，cost會比較好。就像為什麼cnn大部分初始會推薦
03/27 13:17, 7F
→
03/27 13:17, 5年前 , 8F
人家無腦使用xavier一樣，就是經驗法則。不過你也可以
03/27 13:17, 8F
→
03/27 13:17, 5年前 , 9F
試試看其他的方式初始權重，也許有驚喜
03/27 13:17, 9F
→
03/27 17:30, 5年前 , 10F
感謝各位先進的回覆，小弟知道了!感恩!!!
03/27 17:30, 10F
→
03/31 09:45, 5年前 , 11F
xavier init人家是有數學證明的...哪有經驗法則..
03/31 09:45, 11F
推
04/01 10:38, 5年前 , 12F
我說的是上面那個2.4是試出來的，Xavier 我當然知道是
04/01 10:38, 12F
→
04/01 10:39, 5年前 , 13F
推導出來的，我要舉的例子是選擇Xavier 還是你想用Gauss
04/01 10:39, 13F
→
04/01 10:39, 5年前 , 14F
ian init是經驗法則，沒有說Xavier就一定比截斷Gaussian
04/01 10:39, 14F
→
04/01 10:39, 5年前 , 15F
好的道理，哪種初始方式好要看你的網路架構
04/01 10:39, 15F
推
04/01 10:56, 5年前 , 16F
本來用哪種init方式就跟資料的分布有相關，哪有數學能夠
04/01 10:56, 16F
→
04/01 10:57, 5年前 , 17F
證明某一種init方式在所有狀況都一定能適用
04/01 10:57, 17F
→
04/01 10:58, 5年前 , 18F
都嘛是看資料長什麼樣子，再見招拆招
04/01 10:58, 18F
→
04/01 10:59, 5年前 , 19F
所以說是「試出來的」也完全不為過...
04/01 10:59, 19F
推
04/01 12:44, 5年前 , 20F
DL相關的證明通常都對data做了很多假設
04/01 12:44, 20F
→
04/01 12:45, 5年前 , 21F
所以是經驗法則沒錯
04/01 12:45, 21F
‣ 更多 tigerbojo 的文章
文章代碼(AID): #1ScUqF6Y (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 tigerbojo 的文章
文章代碼(AID): #1ScUqF6Y (DataScience)