[問題] 類神經網路的反向傳播與邏輯回歸

看板Prob_Solve (計算數學 Problem Solving)作者 (前端攻城師)時間7年前 (2017/08/27 22:09), 7年前編輯推噓1(103)
留言4則, 3人參與, 最新討論串1/1
不好意思,想請請教各位大大, 我看一般訓練類神經網路都是使用反向傳播演算法(Backpropagation), 可是我看類神經網路(ANN)與邏輯回歸式(Logistic regression)高度相似, 甚至有些人說,邏輯回歸式疊加就是類神經網路! 所以我在想,是否我可以用多層的邏輯回歸式,來建立深度學習? 並且邏輯回歸式權重雖然可以用BP求得, 但是其實也可以直接根據輸入來算吧? 而且感覺直接以邏輯回歸式本身計算方法算出權重,應該會比BP更快? 可是我似乎都沒看到有人這樣用,是會有甚麼問題嘛? 有相關的論文資料嘛? -- 壁河山攻守 爭成敗悟道 許銀川 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.164.99.134 ※ 文章網址: https://www.ptt.cc/bbs/Prob_Solve/M.1503842998.A.171.html

08/28 08:36, , 1F
ㄜ 可以定義多層嗎
08/28 08:36, 1F
我想到是3種算法,直接把上一層的資料,多算1遍,就可以產生2組資料, 再把此2組資料再進行一次LR這樣子 法2:原先可能LR是處理6維回歸,我把他變成2個LR,各處理3維回歸, 再將這2組資料LR 法3:原來是6類分類,我再將分類細分成更多類譬如43類, 然後LR成6個數值,之後再LR出答案 話說...其實我數學不好Q 所以不是很確定我這樣OK嘛?

08/29 12:27, , 2F
是一樣的東西 就是多參數求導 BP 只是 chain rule
08/29 12:27, 2F
好的,謝謝您<3

09/13 21:06, , 3F
DN不只是Sigmoid 公式解能用的場合太少 maxpooling, BN,
09/13 21:06, 3F

09/13 21:11, , 4F
還有RNN 都沒公式解
09/13 21:11, 4F
現在也接觸到了如relu之類的存在了,謝謝大大提點! ※ 編輯: st1009 (1.163.157.60), 09/21/2017 19:27:06
文章代碼(AID): #1PejAs5n (Prob_Solve)
文章代碼(AID): #1PejAs5n (Prob_Solve)