Re: [程式] 迴歸分析中刪除變數的方法
你有一點誤會了
共線性發生是因為這12個independent variable
之間有高度的相關 一般來說是大於0.7 不一定 0.6也有人說
簡單來講
如果兩個variable高度相關
他就有點像是一個variable拆成兩個
跑regression時 就會對整個model造成破壞
因為model會把這兩個variable看成類似一個variable
會使你的model變得更顯著 or 更不顯著 你的結論就完全不可靠
所以你說 你不想刪掉整個variable 那是不可能的
因為共線性是以variable為單位進行比較的
要刪就是刪一整個variable
否則無論你怎麼刪 都會犯隨機的假設前提
碰到這個問題
要馬就把variable刪掉 選擇一個較為重要的variable
先跑個correlation 看看哪些variable之間是有高度相關的
搞不好你會發現 那麼多variable有共線性 可能都是某一個variable造成的
只要刪掉那個variable 剩下的都不會有共線性
要馬就是要作一些合併的動作
例如身高與體重好了
這兩個就是有高度相關variable 最後會有共線性發生的經典例子
(身高越高 體重常常是越重)
所以多數的人就用BMI取代這兩個variable
只用一個variable就可以代表這兩個的涵義
只是你要想清楚你合併的variable要怎麼解釋
因為如果不是像BMI這種公定的標準
常常合併後的新variable很難解釋的
※ 引述《takumi666 (明)》之銘言：
: 大家好
: 我想請教一個回歸共線性發生時，應如何刪除變數?(板上沒爬到這方面的討論)
: 目前我有12個自變數與一個應變數
: 當12個變數一起跑回歸時，R平方顯著，然而有部分變數VIF>10(有共線性)。
: 我想直接把有共線性的變數刪掉，但又不知道從何刪起
: (不想直接把VIF>10的變數直接全部刪掉，想採用其他的方法又不知怎麼使用)
: 以下網路上看到的解釋：
: 1.整體迴歸模式的共線性診斷可以透過特徵值（eigenvalue）與條件指數（
: conditional index; CI）來判斷。
: EX.特徵值大於多少就應該把這項變數刪掉?
: 2.各變量相對的變異數比例（variance proportions），可看出自變項之間多元共線性
: 的結構特性。當任兩變項在同一個特徵值上的變異數比例接近1時，表示存在共線性組合。
: EX.變異數比例大於多少就應該把這項變數刪掉?
: 刪變數時，應該上面兩者條件都要相符才刪掉，還是相符一個就可以了?
: 或者，還有其他篩選變數的方法?
: 感謝
: (我是用SPSS)
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.112.125.84
推
02/03 19:09, , 1F
02/03 19:09, 1F
推
02/04 21:34, , 2F
02/04 21:34, 2F
推
02/06 09:31, , 3F
02/06 09:31, 3F
→
02/24 11:22, , 4F
02/24 11:22, 4F
討論串 (同標題文章)
本文引述了以下文章的的內容：
完整討論串 (本文為第 2 之 2 篇)：