Fw: [問題] kernal trick on svm

看板Statistics作者 (empireisme)時間4年前 (2020/03/31 12:05), 4年前編輯推噓0(0推 0噓 1→)
留言1則, 1人參與, 4年前最新討論串1/1
※ [本文轉錄自 DataScience 看板 #1UWVnhRR ] 作者: empireisme (empireisme) 看板: DataScience 標題: [問題] kernal trick on svm 時間: Mon Mar 30 22:04:23 2020 如題 我理解假設原本在二維中線性不可分的data 可以 透過kernal function 投影轉到 三維 然後就可以在三維平面中 找到一個超平面 讓他線性可分 但是我不理解的事情是 1.這個時候原本的linear svm 的參數個數 是從 3個變成4個嗎(含bias) 2.以及我們適用的svm模型 是先把資料轉成三維再訓練參數嗎 還是訓練成三維後 在把他 投影回 二維 ? 這個時候的線應該就不是直線，而是扭扭歪歪的線 ? 3.有辦法得到那條扭扭歪歪的線的方程式嗎? https://imgur.com/4qJH1ZU
舉例而言，上圖找到的超平面為 z1=0.6 z2=R z3=R 要怎麼把他轉換為 二維中的那個圈圈 要怎麼把超平面投影回 二維 並得到二維的方程式 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.91.75.186 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1585577067.A.6DB.html
推
03/30 22:11, 4年前 , 1F
記得 他好像是用 寫成一個協方差矩陣 （距離矩陣）來計算
03/30 22:11, 1F
→
03/30 22:11, 4年前 , 2F
的 所以3可以 拿svm的 公式來找出為0的 線段
03/30 22:11, 2F
推
03/30 22:14, 4年前 , 3F
對於任意kernel function而言，都可以找到一個對應的特
03/30 22:14, 3F
→
03/30 22:14, 4年前 , 4F
徵工程方式，如對一個資料僅含x1和x2兩個變項的資料，
03/30 22:14, 4F
→
03/30 22:14, 4年前 , 5F
進行二次多項式kernel function轉換，其對應到的特徵工
03/30 22:14, 5F
→
03/30 22:14, 4年前 , 6F
程方式是增加x1x2、x2x1、x1平方、x2平方等四項，所以
03/30 22:14, 6F
所以這個時候應該是有五個 weight 對嗎？就是含bias
→
03/30 22:14, 4年前 , 7F
在有些情形下的確能找到一個對應的線性svm對應到原來
03/30 22:14, 7F
→
03/30 22:14, 4年前 , 8F
具有kernel function的svm。但為什麼說有些情況而已呢
03/30 22:14, 8F
→
03/30 22:14, 4年前 , 9F
，這是因為有些kernel function對應到的特徵工程是無
03/30 22:14, 9F
→
03/30 22:14, 4年前 , 10F
限多維的空間，這時候你當然寫不出線性svm的方程式，預
03/30 22:14, 10F
→
03/30 22:14, 4年前 , 11F
測新資料時就只能直接使用拉格朗日乘算子與支持向量進
03/30 22:14, 11F
→
03/30 22:14, 4年前 , 12F
行運算
03/30 22:14, 12F
※ 編輯: empireisme (101.12.53.3 臺灣), 03/30/2020 23:24:43 ※ 編輯: empireisme (219.91.75.186 臺灣), 03/31/2020 09:44:31 ※ 編輯: empireisme (219.91.75.186 臺灣), 03/31/2020 09:45:32 ※ 發信站: 批踢踢實業坊(ptt.cc) ※ 轉錄者: empireisme (219.91.75.186 臺灣), 03/31/2020 12:05:16
→
03/31 12:11, 4年前 , 13F
具體來說我的問題是第三項 如果把她投影回去 投影回去
03/31 12:11, 13F
‣ 更多 empireisme 的文章
文章代碼(AID): #1UWi5zJm (Statistics)