看板 [ DataScience ]
討論串[討論] L1L2正規化的物理意義。
共 3 篇文章
內容預覽： 開啟 | 關閉 | 只限未讀
首頁
上一頁
1
下一頁
尾頁
#1
[討論] L1L2正規化的物理意義。
推噓1(1推 0噓 2→)留言3則，0人參與, 5年前最新作者peter308 (pete)時間5年前 (2019/01/09 14:32), 5年前編輯資訊
2
1
0
內容預覽:
L1L2是一種常見的正規化技巧. 用來降低過度擬和效應的程度. 我最近發現其背後有非常深刻的物理意義. 首先 我們通常都會定義一個loss function 並加上L1 L2項. https://i.imgur.com/5OUdn1e.png. 如果學過古典力學的同學 應該都知道有個Euler-La
(還有852個字)
#2
Re: [討論] L1L2正規化的物理意義。
推噓5(5推 0噓 15→)留言20則，0人參與, 5年前最新作者f496328mm (123)時間5年前 (2019/01/10 13:54), 編輯資訊
0
2
0
內容預覽:
這要回到最基礎的回歸問題. 我們希望找出 y = x1*beta1 + x2*beta2 ... 背後的多項式. 解法就是最小化 y - sum( x_i*beta_i ). x 越多會 fit 的越準( train 的情況下 )，為了避免這種極端狀況. 要懲罰選太多變數(x) 的情況，所以變成這樣
(還有685個字)
#3
Re: [討論] L1L2正規化的物理意義。
推噓1(1推 0噓 0→)留言1則，0人參與, 5年前最新作者VIATOR (阿布拉卡達不拉)時間5年前 (2019/02/01 02:27), 編輯資訊
0
1
0
內容預覽:
想深入探討的話可以參考這本書"Statistical Learning with Sparsity". 這本書是由lasso的開發者之一，R glmnet package的作者寫的，. 可以google到，而且免費。. 書中的圖2.2即就是用Lagrangian 形式說明lasso(L1 norm)
(還有53個字)
首頁
上一頁
1
下一頁
尾頁