[問題] 要素分析和主成分分析的目的

看板Statistics作者 (人生勝利組YA)時間2年前 (2021/09/23 06:25), 編輯推噓2(2031)
留言33則, 6人參與, 2年前最新討論串1/1
一般在結構方程式 (Structure Equation Model, SEM)當中,總是可以看到利用Factor Analysis尋找潛伏變數 (Latent Variable)。但是最近看到一篇文獻,作者在SEM模型當 中使用Principle Components Analysis (雖然他並沒有說他用的是Latent Variable)。 但是這引起我的好奇心,到底使用Factor Analysis和Principle Components Analysis有 甚麼明顯的涵義。 舉個例子簡單說明Factor Analysis和Principle Components Analysis的區別。假設有兩 個觀察變數(Observed variables),x1和 x2。 Factor Analysis: x1 = f1*L + e1 x2 = f2*L + e2 這裡的L是我們想要找的Latent Variable,f1和f2是所謂的loading,相當於迴歸分析的 係數,e1和e2這相當於迴歸分析的殘差項。 Principle Components Analysis: f1*x1 + f2*x2 = Y Principle Components Analysis是透過weights (f1和f2)把觀察變數x1和x2合併起來。 一般來說,Factor Analysis和Principle Components Analysis也被視為是一種維度縮減 的工具,也就是說,把x1和x2濃縮成具有代表性L和Y。 所以我的問題是: 為何在SEM當中,大部份只有使用Factor Analysis,較少使用 Principle Components Analysis? 還有這兩個工具,除了數學上的不同之外,還有什麼 其他重要的意義? 謝謝大家耐心把問題看完~~ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.235.233.212 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1632349558.A.D49.html

09/23 16:14, 2年前 , 1F
不同之處在網上查大概花三天都看不完吧。舉一個,FA轉軸
09/23 16:14, 1F

09/23 16:15, 2年前 , 2F
不同也造成f1/2不同。
09/23 16:15, 2F

09/23 16:17, 2年前 , 3F
最常見的說法:PCA用於將有相關變數合併至少數重要組成
09/23 16:17, 3F

09/23 16:18, 2年前 , 4F
FA用於檢視或檢驗特定模型下的內部變數
09/23 16:18, 4F

09/23 17:29, 2年前 , 5F
請教a大,數學上來說PCA是不是找尋loss最小的軸進行投影?
09/23 17:29, 5F

09/23 17:29, 2年前 , 6F
可以這樣解釋嗎?
09/23 17:29, 6F

09/23 17:34, 2年前 , 7F
loss function要先指定。
09/23 17:34, 7F

09/23 23:31, 2年前 , 8F
你的數學式都寫了啊 FA有考慮Gaussian noise
09/23 23:31, 8F

09/23 23:34, 2年前 , 9F
PCA是直接給最大變異度的方向 不管那個方向是noise
09/23 23:34, 9F

09/23 23:34, 2年前 , 10F
還是signal
09/23 23:34, 10F

09/23 23:35, 2年前 , 11F
另外如果取兩個以上的PC 那麼PCA還加了weight垂直的
09/23 23:35, 11F

09/23 23:35, 2年前 , 12F
條件
09/23 23:35, 12F

09/24 00:17, 2年前 , 13F
@andrew43 & @recorriendo: 同意你們的見解
09/24 00:17, 13F

09/24 00:18, 2年前 , 14F
FA和PCA在數學表達有很明顯的差異,各自的目的也不
09/24 00:18, 14F

09/24 00:19, 2年前 , 15F
相同。但還是不明白為何在SEM的架構之下,至少是許
09/24 00:19, 15F

09/24 00:19, 2年前 , 16F
多的教科書中,為何多只專注於利用FA找出
09/24 00:19, 16F

09/24 00:20, 2年前 , 17F
Latent Variable?
09/24 00:20, 17F

09/24 10:10, 2年前 , 18F
心理測驗有個東西叫古典測驗理論,認為每個問卷或試題
09/24 10:10, 18F

09/24 10:10, 2年前 , 19F
都有測量誤差,認為潛在構念應是真分數的部分,所以在
09/24 10:10, 19F

09/24 10:11, 2年前 , 20F
估計對象和pca不同。我的理解pca是直接對相關係數矩陣
09/24 10:11, 20F

09/24 10:11, 2年前 , 21F
作eigen分解,而fa分解的對象是R-psi, psi是對角矩陣
09/24 10:11, 21F

09/24 10:11, 2年前 , 22F
,為誤差變異。
09/24 10:11, 22F

09/24 14:07, 2年前 , 23F
重點是得到的factor/PC在你的理論框架內有什麼意義
09/24 14:07, 23F

09/24 14:07, 2年前 , 24F
數學上當然都算得出來
09/24 14:07, 24F

09/24 14:11, 2年前 , 25F
正如樓上所說 factor在心裡/社會科學代表某個"東西"
09/24 14:11, 25F

09/24 14:11, 2年前 , 26F
這是心理/社會科學層面的問題 不是數學問題
09/24 14:11, 26F

09/24 18:34, 2年前 , 27F
同意樓上,PCA更偏探索性的分析,找到主軸以後再解釋為
09/24 18:34, 27F

09/24 18:34, 2年前 , 28F
何(或者甚至不解釋,丟入機器學習模型訓練),但FA的因子
09/24 18:34, 28F

09/24 18:34, 2年前 , 29F
已經是「事先知道是什麼」才進行測量了,就算是探索式因
09/24 18:34, 29F

09/24 18:34, 2年前 , 30F
素分析(EFA),決定的也是因子個數篩選、或用來琢磨潛變
09/24 18:34, 30F

09/24 18:34, 2年前 , 31F
量概念和因子的關係。至於SEM,是明確所有因子和潛變量
09/24 18:34, 31F

09/24 18:34, 2年前 , 32F
關係以後,根據領域知識進行潛變量關係的探討,是驗證性
09/24 18:34, 32F

09/24 18:34, 2年前 , 33F
的分析了。
09/24 18:34, 33F
文章代碼(AID): #1XIwrsr9 (Statistics)