Re: [問題] logistic regression vs SVM
※ 引述《jikett (jikeZ)》之銘言：
: 各位大神前輩好，小弟不才，最近在面試遇到一個有趣的問題，
: 面試官問說data在什麼情況下會用logistic regression，什麼
: 情況下會用SVM?
: 當下有點愣住，若談boundary的特性，兩個都可以透過kernel
: trick轉成nonlinear。印象中以前看蠻多例子都會用
: K-fold cross validation做比較，好像沒有一個通則說什麼情
: 形下哪一個一定會優於另一個。
: 後來跟一個Phd朋友討論後，也只得到說logistic regression在
: data seperable情況下，MLE會是無窮大，但在practical中並不
: 常見完全seperable的data?!
: 另外有想到說loss的差異，但其實hinge loss跟logistic regression
: 的loss(sigmoid+cross entropy)似乎也只有微小差異? 且loss的
: 不同似乎也不是面試官想問的data特性?
: 最後只想到multi-class，LR有softmax推廣到multi-class，但SVM
: 也可以做1-vs-all SVMs。不曉得各位大神前輩們對於這兩者的比較
: 適用於什麼樣的data有什麼看法? 先謝謝各位大神前輩!
討論一般常見的soft-margin svm和L2-regularized logistic regression
兩者的解都可以由訓練樣本的線性組合表示(representer theorem)
但QP求解svm的對偶問題可以得到僅包含support vector的sparse solution
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.237.65.149
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1522382101.A.7FC.html
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 2 之 3 篇)：