[理工] 線代eigenvector

看板Grad-ProbAsk作者 (工口工口)時間13年前 (2013/02/09 22:29), 編輯推噓1(107)
留言8則, 3人參與, 最新討論串1/2 (看更多)
考慮資料{X1,..,Xn} 其中 Xi屬於R^2,令S=Σ(Xi-Xbar)(Xi-Xbar)' ':transpose i=1 S為{X1,...,Xn}之樣本共變異數矩陣 n Xbar=ΣXi/n 為樣本平均數假設λ1>λ2>0為S的eigenvalue i=1 定義γ1為一單位長度向量(γ1'γ1=1)並且極大化γ1'Sγ1 驗證γ1為S的eigenvector 且其相對應的eigenvalue為λ1 定義γ2為令一單位長度向量且與γ1正交,若γ2極大化γ2'Sγ2 驗證γ2為S的eigenvector 且其相對應的eigenvalue為λ2 定義Γ=[γ1,γ2]以及Ui=Γ'Xi,i=1,...,n 驗證{U1,...,Un}的樣本共變異數矩陣為一對角矩陣,且其對角線的元素為λ1 λ2 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 36.239.250.89

02/10 03:00, , 1F
這篇總共是要問三個證明?
02/10 03:00, 1F

02/10 16:45, , 2F
是的,不好意思沒標題號><
02/10 16:45, 2F

02/10 22:19, , 3F
google 一下 PCA 就有很多證明了.或是參考#1Gn1lkxN 前面
02/10 22:19, 3F

02/11 00:39, , 4F
原來是跟PCA有關!當初只一直往迴歸跟線代的方向去想...
02/11 00:39, 4F

02/11 01:23, , 5F
PCA 也能用機率模型解讀. 考慮 t = Wx + u + e , e~N()
02/11 01:23, 5F

02/11 01:25, , 6F
根據 observation {x1,..xn} 取 MLE 即可得此相同結論
02/11 01:25, 6F

02/11 01:27, , 7F
原po往線代方向去想是對的,因為它對此只是分析問題工具
02/11 01:27, 7F

02/11 01:28, , 8F
regression 或其它知識也不過是經由數學分析後的各種結果
02/11 01:28, 8F
文章代碼(AID): #1H5brP3n (Grad-ProbAsk)
文章代碼(AID): #1H5brP3n (Grad-ProbAsk)