PTT數位生活區 / DataScience

[問題] linear regression 的feature選用問題

看板DataScience作者 (屁眼火炬)時間6年前 (2018/03/24 02:03), 編輯推噓3(3推 0噓 10→)
留言13則, 3人參與, 6年前最新討論串1/2 (看更多)
如題 請教一下 linear regression的model在feature選用上有可能 只用上feature的 x ** 2項 而不用x項效果會更好嗎? 因為我看宏毅老師的投影片好像都是 先用 x , 再加用x ** 2, 再加 x *** 3, ... 直到overfitting發生 那有可能是只用x ** 2, 而不用x 會效果更好嗎? 還是說overfitting只會發生在高次方項? 因為我想到若x存在負數，那只選用x**2當fearture而不用x也許會比較好? 先謝謝各位願意看完我冗長的問題 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.136.51.242 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1521828238.A.606.html
推
03/24 02:27, 6年前 , 1F
你是想說y存在負數嗎? 不然x負數好像沒啥問題
03/24 02:27, 1F
→
03/24 02:27, 6年前 , 2F
動能 Ek = 1/2*mv^2, 你有Ek與v 你覺得這樣要如何fit?
03/24 02:27, 2F
→
03/24 02:27, 6年前 , 3F
如果是的話其實你的bias就會調整這邊了
03/24 02:27, 3F
→
03/24 02:28, 6年前 , 4F
另外就是你的方程式畫出來會怪怪的
03/24 02:28, 4F
→
03/24 02:29, 6年前 , 5F
喔喔沒事樓上那句當我沒說
03/24 02:29, 5F
推
03/24 02:33, 6年前 , 6F
應該是說 你如果x^2就很棒 那就搭配bias解就好
03/24 02:33, 6F
→
03/24 02:33, 6年前 , 7F
只不過你多放一個x進去 要是他沒啥貢獻他係數就會小
03/24 02:33, 7F
→
03/24 02:34, 6年前 , 8F
所以沒必要特別把較不複雜的basis function拿掉
03/24 02:34, 8F
→
03/27 19:27, 6年前 , 9F
謝謝樓上各位，想再問沒啥貢獻的不會因此overfitting嗎?
03/27 19:27, 9F
推
03/27 22:42, 6年前 , 10F
你可以想像一下 你先畫一個複雜到fit所有點的曲線
03/27 22:42, 10F
→
03/27 22:42, 6年前 , 11F
接下來你把一次項加進去 你會很自然地發現他沒辦法
03/27 22:42, 11F
→
03/27 22:43, 6年前 , 12F
對overfitting這件事貢獻太多 不過這只是一個想法
03/27 22:43, 12F
→
03/27 22:43, 6年前 , 13F
如果要用數學去證明這件事我還真不會QQ"
03/27 22:43, 13F
‣ 更多 PyTorch 的文章
文章代碼(AID): #1QjK6EO6 (DataScience)
DataScience 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 PyTorch 的文章
文章代碼(AID): #1QjK6EO6 (DataScience)