Re: [問題] logistic regression vs SVM

看板DataScience作者peter308 (pete)時間6年前 (2018/12/13 11:51)推噓4(4推 0噓 4→)

留言8則, 4人參與討論串3/3 (看更多)

※ 引述《jikett (jikeZ)》之銘言： : 各位大神前輩好，小弟不才，最近在面試遇到一個有趣的問題， : 面試官問說data在什麼情況下會用logistic regression，什麼 : 情況下會用SVM? : 當下有點愣住，若談boundary的特性，兩個都可以透過kernel : trick轉成nonlinear。印象中以前看蠻多例子都會用 : K-fold cross validation做比較，好像沒有一個通則說什麼情 : 形下哪一個一定會優於另一個。 : 後來跟一個Phd朋友討論後，也只得到說logistic regression在 : data seperable情況下，MLE會是無窮大，但在practical中並不 : 常見完全seperable的data?! : 另外有想到說loss的差異，但其實hinge loss跟logistic regression : 的loss(sigmoid+cross entropy)似乎也只有微小差異? 且loss的 : 不同似乎也不是面試官想問的data特性? : 最後只想到multi-class，LR有softmax推廣到multi-class，但SVM : 也可以做1-vs-all SVMs。不曉得各位大神前輩們對於這兩者的比較 : 適用於什麼樣的data有什麼看法? 先謝謝各位大神前輩! 你好我最近在唸Python 機器學習第二版剛好有看到跟你這個問題相關的內容在 84頁有這些內容: 邏輯斯迴歸與支持向量機的比較在實際的分類工作中，線性邏輯斯迴歸與線性支援向量機常常會產生非常相似的結果。但是邏輯斯迴歸試圖最佳化訓練數據集的條件概似，這會使邏輯斯迴歸比支援向量機更容易傾向於離群值。支援向量機主要在意的是那些非常接近決策邊界(支援向量)的那些點。邏輯斯迴歸有另一個優點是，他是一個簡單的模型，可以更容易的實作。另外，邏輯斯迴歸模型可以很容易的完成更新處理，這在處裡串流數據的時候，是非常吸引人的優點。從上述內容似乎兩者差異在於邏輯斯迴歸會更傾向於離群值? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.127.233.55 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1544673093.A.B2F.html ※ 編輯: peter308 (140.127.233.55), 12/13/2018 11:53:43