Re: [問題] 利用newton-raphson method 求迴歸係數

看板R_Language作者celestialgod (天)時間10年前 (2015/12/05 19:57)推噓2(2推 0噓 4→)

留言6則, 2人參與討論串4/4 (看更多)

※ 引述《ritajen (asdfge)》之銘言： : ※ 引述《celestialgod (天)》之銘言： : : 我懶得推文了... : : 問題如下： : : 1. 你知道logistic的MLE怎麼算嗎？ : : 2. 你有了牛頓法的程式，但是你知道f3放什麼？x0放什麼嗎？ : : 3. 我看不懂你創的矩陣，[Y-pi1]是從哪裏來的？ : : 4. 從你的敘述裡面，似乎都對newton這個函數不熟悉，你要怎麼跑這個程式？ : : 5. 你知道R可以直接用glm求logistic regression的迴歸係數嗎？ : 我知道R裡面可以直接算唷，不過規定不可以使用內建函數。 : 然後我知道MLE的求法，求殘差到回歸線的最小平方和。 ^^^^^^^^^^^^^^^^^^^^^^^^^^ logistic的求法不完全是這樣... 你的Y是0 or 1，此時殘差並沒有太大的意義 logistic採取的是iterative reweighted least-square的方法 weighted least-square應該聽過吧？平常的least-square 對每一個樣本在做加權的動作 logistic regression的Likelihood求出來之後透過微分，可以得到 hessian 類似 X^TWX gradient 是 X^T(y-pi) 的樣子 pi = P(Y = 1 | X_i) 換成中文，就是給定X_i時，Y=1的機率最後透過newton method做疊代就可以得到結果了~~ 因此，你對logistic求解的過程不甚熟悉所以不知道怎麼利用newton這個函數問題不是問的不好，我只是透過問題去了解你認識的程度，才方便做回答而已我的文字可能比較生硬，如有得罪，還請多多包涵最後，你可以google看看 logistic regression MLE 應該可以找到相關資訊 : f3的話我的理解是一個包刮{gradient,hessian}的函數, : 我了解這兩個值需要利用矩陣相乘而得。 : [Y-pi](這是提示給可以利用的矩陣)，至於newton這個函數我是不熟沒有錯，因為剛開始接觸又沒有數理的背景，抱歉問了不好問題。 : 因為真的想了很多天還是無從下手，所以才想來請益各位，問題問得不好抱歉。最後的程式：http://pastebin.com/hSJq1Enr -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.109.73.236 ※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1449316677.A.444.html