PTT數位生活區 / DataScience

[討論] 練習backpropagation產生疑惑(附圖)

看板DataScience作者 (督人無數就是我)時間5年前 (2019/08/03 22:38), 5年前編輯推噓2(2推 0噓 4→)
留言6則, 2人參與, 5年前最新討論串1/1
- 討論: 當你自己已經有答案，但是也想聽聽版友意見時。 練習簡單的backpropagation: dataset只是個很小的多維矩陣. sigmoid function syn0 and syn1: synapse matrices for weights L1:first layer L1_error, L2_error: backpropagation of errors - the chain rule. L1_delta, L1_delta:error rate of prediction on each iteraterations L2:second layer iteraterations: 600 6000 60000 以下皆取mean值: 600: https://reurl.cc/xnEMb 6000: https://reurl.cc/LR7ke 60000: https://reurl.cc/NVZ7e 1. 最終結果是正確的 - calculate the gradient 但是mean值在iteraterations: 0~20區間 180~250區間 會有奇怪的震盪和轉折, 不知道怎麼說明解釋. 2. L1_delta, L2_delta差異極大, 要怎麼說明其正確性. 3. 整體最終是正確, 但個別區間和折線看上去不太正常, 應該怎麼理解? 會是因為dataset太小的關係嗎? 謝謝~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.71.213.235 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1564843081.A.86C.html ※ 編輯: ruthertw (111.71.213.235 臺灣), 08/03/2019 22:48:43
推
08/03 23:42, 5年前 , 1F
我覺得正常欸 之前自己寫BP的經驗也是到中間會亂震
08/03 23:42, 1F
→
08/03 23:42, 5年前 , 2F
一下，但還是會收斂
08/03 23:42, 2F
推
08/04 10:23, 5年前 , 3F
假設不考慮程式錯誤，會產生震盪是因為你的梯度下降收
08/04 10:23, 3F
→
08/04 10:23, 5年前 , 4F
斂一直在local optimum來回擺盪，通常這種細微震盪都會
08/04 10:23, 4F
→
08/04 10:23, 5年前 , 5F
因為你的learning rate可以跳出去，可以試著加入momentu
08/04 10:23, 5F
→
08/04 10:23, 5年前 , 6F
m 項次改善震盪的情形
08/04 10:23, 6F
‣ 更多 ruthertw 的文章
文章代碼(AID): #1THPn9Xi (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 ruthertw 的文章
文章代碼(AID): #1THPn9Xi (DataScience)