Re: [問題] 交互作用 負負相乘的問題

看板Statistics作者 (沒事不要亂吃)時間13年前 (2010/10/07 21:42), 編輯推噓10(10推 0噓 137→)
留言147則, 8人參與, 最新討論串3/5 (看更多)
可討論的點很多 不過既然原po提到用中心化處理共線性 那我就以這點分享一點看法 我不認為中心化主要目的是處理共線性的問題 一般而言 共線性來自於迴歸係數的估計式會受到獨變數之間的相關影響 公式請詳見迴歸書或是一般統計書 對於加入的連乘積項X1X2可能會造成共線性的問題 改為中心化的C1C2可能可以處理這問題 但也不是屢試不爽的好方法 剛剛隨便弄了個例子就發現中心化反而相關上升 我會從交互作用的意義來看中心化的好處 中心化(centering) 最簡單的想法就像計算共變數公式要去中心一樣 減掉平均數是為了控制兩變數在同一個起始點上 看兩變數之間的大小關係是否有所相關 有的話共變程度大 沒有的話共變程度小 > 也可以套至相關 那為何處理調節變項要去中心化？ 我先來談調節變項的意義 簡單而言，調節變項是捕捉交互作用的效果 交互作用的效果可以稱為某獨變項影響依變項的效果 受到另一個讀變項的影響的效果 很饒口對吧？ 那簡單一點來講 交互作用就是非線性的效果的一種 從定義把數學式子寫一寫就很簡單了 假設X1的對Y的預測能力（或是說效果影響等等都可以）受到X2的大小影響 也就是X2的大小 會影響到X1影響Y的效果或是預測能力 以上可以寫成 Y = a0 + (a1 + a2X2)X1 + a3X2 = a0 + a1X1 + a3X2 + a1a2X1X2 = B0 + B1X1 + B2X2 +B3X1X2 在數學上X1X2就是一個非線性的效果 我們可以說因為存在交互作用 因此單就線性模型Y = B0 + B1X1 + B2X2 不足夠 需要在加上X1X2的乘積項捕捉交互作用的效果 那如果不作中心化會怎樣？ 此時B3會很難解釋！！ X1X2上升一單位 在沒有中心化處理下意義完全不明！ 因為X1 X2 可能一個是身高 一個是5點量表 他們的乘積上升一單位？嗯？沒人知道那是啥鬼 但是中心化後 X1X2上升一單為的意義就是 兩者往共同方向移動了一單位 這就會讓研究者方便許多 那既然如此我就來在推導一下 其實中心化就只是針對X1X2的乘積項 至於X1 和 X2 其實是可以不需要中心化的 上一篇提到的那本回歸參考書（A先生＆W先生）也有提到這點 令C1為中心化過的X1 M1為X1的平均數 Y = b0 + b1X1 + b2X2 + b3C1C2 = b0 + b1C1 + b2C2 + b3C1C2 + b1M1 + b2M2 = b0'+ b1C1 + b2C2 + b3C1C2 也就是說 不管X1放的是原始資料還是中心化過的C1 這都只影響到截距項的估計 對其他係數不會任何影響～ 詳細推導 請參考書籍 以上只是一點淺見 -- 額外話 每次看到有人用工讀生時薪在徵統計分析幫手 都覺得囧 或許某些老師覺得統計就是點一點寫寫語法而已 沒啥了不起 就把資料丟進去把結果給他 然後他就可以寫paper 科科 ※ 引述《coldwind0912 (隨風而逝~)》之銘言： : 我是用一個比較簡單的方法來舉例 : 我在舉一個例子 : x1 x2 x1x2 : case1 6 9 54 : case2 2 3 6 : 假設x1 mean=4 x2 mean=6 : 所以中心化之後： : x1' x2' x1'x2' : case1 2 3 6 : case2 -2 -3 6 : 請問c大這樣一樣是合理的嗎？謝謝？ : 我還是不太懂你的意思:) : 從你這個例子來說 : 當我們假定 X1 X2 都是一個 0~10 的分數 正代表滿意 負代表不滿意 : ※(其實負分 根本不存在因為尺度是0~10 不會有負) : 在csae1的情況 當X1在中心化前是6 中心化後是2 : 對於X1的意義而言 不論是6還是2 都是代表滿意 : 可是 如果太執著數字大小 會誤認為 在中心化後 滿意度降低了(這是錯的觀念) : 實際上 中心化前的6分 和 中心化後的2分 是一樣的 : 因為尺度已經從 0~10 變成 -4 ~ 6 (Mean=4，同減) : 但是 首先 會有問題的是X1在case2的時候 : 在case2的情況 X1在中心化前是2 中心化後是-2 : 但是 對於X1的意義而言 不論是2還是-2 一樣都還是代表滿意(請見前述※處) : 實際上 中心化前的2分 和 中心化後的-2分 是一樣的 : 因為尺度已經從 0~10 變成 -4 ~ 6 (Mean=4，同減) : 最後 就是交互作用項的問題 : 基本上 這也是這個問題當中 最複雜的一點 : 因為 交互作用的說明 不是直接以數字的正負或大小 就能理解的 : 以CASE1 來說 你一定會問 中心化前的54 中心化後的6 為什麼會變化那麼多? : 以CASE2 來說 你就是問 中心化前的6 和 中心化後 負負得正的6 是一樣的嗎? : 其實 這裡我也很難以一個中文說法來表達 : 不過 基本上 對於中心化的議題 大部份都是參考Aiken&West(1991)的paper : 或許這麼說好了(也許會有點言不及意 這是我個人的解讀) : 不論是case1的54和6 或case2的6和6 : 基本上 它都是「反應X1和X2同時在Y上 高低程度的共同比例效果」 : 只是 在中心化前 會受平均數的影響 : 但是 就這個例子而言 : case1的x1和x2為6,9 case2為2,3 其實這比例效果是一樣的(中心化後都為6) : 所以 回到問題 中心化的操作 或許很簡單 但是 中心化的意義 很複雜 : 有時 不要用正負、大小 就直接思考判斷 : 在交互作用的議題裡 這種直觀式的判斷 往往都是錯的 : 也希望有板上其他高手 來進一步說明或一討論這個中心化的問題吧 我的能力也有限 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 61.224.49.80
推
10/07 21:52, , 1F
推導詳細 先給推 尤其是"交互作用是非線性關係"
10/07 21:52, 1F
→
10/07 21:53, , 2F
只是 對於前述 中心化與共線性無關之觀點 尚加保留
10/07 21:53, 2F
→
10/07 21:53, , 3F
我個人不敢這麼斬釘截鐵 只是我的確有聽聞這個說法
10/07 21:53, 3F
→
10/07 21:54, , 4F
但就當前在學術paper的呈現而言
10/07 21:54, 4F
→
10/07 21:55, , 5F
中心化 確實是回應共線性爭議的權宜之計
10/07 21:55, 5F
→
10/07 21:59, , 6F
嗯 如果是就相乘項和其他變數共線性的問題 去中心化的確是
10/07 21:59, 6F
→
10/07 22:00, , 7F
我想我前面是指其他變數的共線性問題 不過這樣寫實在不好
10/07 22:00, 7F
→
10/07 22:01, , 8F
感謝你的提醒！
10/07 22:01, 8F
推
10/07 22:30, , 9F
推~ 也推最後一段
10/07 22:30, 9F
→
10/07 22:42, , 10F
樓上似乎也是常在pt板用統計當關鍵字搜尋的 哈哈
10/07 22:42, 10F
推
10/07 22:46, , 11F
XD 觀賞一下現在的價位嘛
10/07 22:46, 11F
→
10/08 07:16, , 12F
你中間的說法似乎把centering跟standardization搞混了
10/08 07:16, 12F
→
10/08 08:34, , 13F
是說會sem時薪一百的那篇文嗎 XD
10/08 08:34, 13F
→
10/08 10:35, , 14F
原來大家都在討論 後站大學那篇 會SEM時薪100的文 XD
10/08 10:35, 14F
→
10/08 10:38, , 15F
回b大 對截距而言 中心化也是標準化的其中一種方法吧
10/08 10:38, 15F
→
10/08 10:47, , 16F
??
10/08 10:47, 16F
→
10/08 10:48, , 17F
你這句話邏輯怪怪的
10/08 10:48, 17F
→
10/08 10:50, , 18F
Are you sure what you are talking about?
10/08 10:50, 18F
推
10/08 10:57, , 19F
我也有搞混，為什麼減去平均數能稱為標準化？
10/08 10:57, 19F
→
10/08 11:31, , 20F
對截距而言...
10/08 11:31, 20F
→
10/08 11:43, , 21F
中間哪邊的說法？ B大可以講詳細點嗎？
10/08 11:43, 21F
→
10/08 12:07, , 22F
標準化包涵中心化的效果 不過後者並沒有調整尺度
10/08 12:07, 22F
→
10/08 12:09, , 23F
不知道B大是不是指起跑點那句話
10/08 12:09, 23F
→
10/08 12:15, , 24F
標準化&中心化都是讓截距歸零 但標準化還去除了單位
10/08 12:15, 24F
→
10/08 19:45, , 25F
"X1X2上升一單位 在沒有中心化處理下意義完全不明！"
10/08 19:45, 25F
→
10/08 19:45, , 26F
這段話開始,你指的應是標準化,而不是單純的中心化
10/08 19:45, 26F
→
10/08 19:49, , 27F
"標準化&中心化都是讓截距歸零"..沒這種說法吧...
10/08 19:49, 27F
→
10/08 19:51, , 28F
c大, 所以中心化不是標準化
10/08 19:51, 28F
→
10/08 20:01, , 29F
X1X2上升一單位 和有沒有標準化不影響吧 1單位就是0變1
10/08 20:01, 29F
→
10/08 20:09, , 30F
不過兩者尺度差很多時 乘積也實在不好解釋
10/08 20:09, 30F
→
10/08 20:26, , 31F
如果你不是在談標準化,何必舉單位不同的例子?
10/08 20:26, 31F
→
10/08 20:29, , 32F
還有"兩者往共同方向移動了一單位"這句話需要再解釋
10/08 20:29, 32F
→
10/08 20:30, , 33F
否則會有誤解
10/08 20:30, 33F
→
10/09 00:07, , 34F
嗯 我想不是DUMMY VARIBLE 相乘項係數都不是很好解釋
10/09 00:07, 34F
→
10/09 00:09, , 35F
感謝B大的指教 剛作了些小模擬 要解釋相乘項實在不容易
10/09 00:09, 35F
→
10/09 00:09, , 36F
我覺得 P大的那段說明並不會令人搞混呀....
10/09 00:09, 36F
→
10/09 00:10, , 37F
對於單位不同的變項 使用標準化做資料調整固然沒錯
10/09 00:10, 37F
→
10/09 00:12, , 38F
但是 依照P大例子 其實中心化就足以進行解釋
10/09 00:12, 38F
→
10/09 00:12, , 39F
我個人是覺得 不必使用到標準化
10/09 00:12, 39F
還有 68 則推文
還有 2 段內文
→
10/09 20:58, , 108F
但是用C1C2的目的最主要還是想解決collinearity的問題
10/09 20:58, 108F
→
10/09 21:02, , 109F
Interaction term不能單獨解釋,要連main effects一起解釋
10/09 21:02, 109F
→
10/09 21:03, , 110F
才會完整
10/09 21:03, 110F
→
10/09 21:26, , 111F
所以e大舉的例子裡2*3=6,-2*-3=6,單看interaction的值似乎
10/09 21:26, 111F
→
10/09 21:27, , 112F
不合理,但是如果再考慮(2, 3), (-2,-3)的不同就不會太奇怪了
10/09 21:27, 112F
→
10/09 21:28, , 113F
可以用X1={-1,1}, X2={-1,1},畫個2X2 table來看就清楚了
10/09 21:28, 113F
推
10/12 18:19, , 114F
基本上，去中心化的用意在還原真實現象中的反應一致性
10/12 18:19, 114F
→
10/12 18:21, , 115F
趨勢，只是將數字上所膨脹的「虛假」還原真實「程度」
10/12 18:21, 115F
→
10/12 18:23, , 116F
b大還是去把Aiken&West(1991)抓出來看比較實際
10/12 18:23, 116F
→
10/12 18:35, , 117F
這就是為什麼2*3=6,-2*-3=6 在程度意義上為「相同」
10/12 18:35, 117F
→
10/12 18:36, , 118F
這不就是運用GLM方法上大家所最樂見的事嗎?
10/12 18:36, 118F
→
10/12 18:38, , 119F
(2, 3)→兩個都高，(-2,-3)→兩個都低
10/12 18:38, 119F
→
10/12 18:40, , 120F
所以，兩個相乘後皆為6，其實他們的趨勢意義上是相同的
10/12 18:40, 120F
→
10/12 18:42, , 121F
不知道這樣的解釋是否夠白話?
10/12 18:42, 121F
→
10/13 07:39, , 122F
不如去看看 Echambadi and Hess (2007).Mean-Centering Does
10/13 07:39, 122F
→
10/13 07:40, , 123F
Alleviate Collinearity Problems in Moderated Multiple
10/13 07:40, 123F
→
10/13 07:40, , 124F
Regression Models.
10/13 07:40, 124F
→
10/13 07:42, , 125F
中心化後的design matrix其實還是原來design matrix的
10/13 07:42, 125F
→
10/13 07:42, , 126F
linear transformation. 所以covariate vector space所展開
10/13 07:42, 126F
→
10/13 07:43, , 127F
的空間是一樣的,也就是說fitted model根本都是一樣的
10/13 07:43, 127F
→
10/13 07:44, , 128F
做中心化只是讓新的design matrix 的cross-prodct在求矩陣
10/13 07:44, 128F
→
10/13 07:45, , 129F
的反距陣的數值計算比較穩定(當cross-product matrix接近
10/13 07:45, 129F
→
10/13 07:47, , 130F
singular的情況),也就是說只有在共線性非常強的時候才有可能
10/13 07:47, 130F
→
10/13 07:48, , 131F
看到其效果,所以中心化其實純粹是解決數值運算問題
10/13 07:48, 131F
→
10/13 07:49, , 132F
而不是fit了一個新的model...
10/13 07:49, 132F
→
10/13 07:55, , 133F
請不要直接比較中心化(不管哪一種方式)跟沒有中心化的
10/13 07:55, 133F
→
10/13 07:56, , 134F
regression table,然後說這兩個方法得到不一樣的結果
10/13 07:56, 134F
→
10/13 07:57, , 135F
要記得,展開整理過再比,那麼你會發現不論是係數或是SE的估計
10/13 07:57, 135F
→
10/13 08:01, , 136F
都是一模一樣(除了在很極端的case碰到求反矩陣的數值問題)
10/13 08:01, 136F
→
10/13 08:10, , 137F
至於(X1-m1)*(X2-m2)比X1*X2解釋上是否比較有意義
10/13 08:10, 137F
→
10/13 08:11, , 138F
我沒意見(也從沒反對過)
10/13 08:11, 138F
→
10/13 08:20, , 139F
上面指的是單獨一項變數來看...但最終要解釋interaction
10/13 08:20, 139F
→
10/13 08:21, , 140F
還是必須要把X1, X2納進來一起解釋
10/13 08:21, 140F
→
10/13 14:11, , 141F
上面最後兩句話是討論串的重點啦~ 直接去解釋 X1*X2 或
10/13 14:11, 141F
→
10/13 14:12, , 142F
(X1-m1)*(X2-m2)的數值都是無意義的.
10/13 14:12, 142F
推
10/13 14:33, , 143F
b大的title少了一個字Mean-Centering Does Not Alleviate
10/13 14:33, 143F
→
10/13 14:34, , 144F
謝謝各位給予建議的朋友們，現在觀念清楚多了^___^
10/13 14:34, 144F
→
10/13 19:49, , 145F
oops, sorry....少一個NOT差很多.... XD
10/13 19:49, 145F
→
10/14 01:19, , 146F
水喔 文獻終於來了 我會找來看看 謝啦B大
10/14 01:19, 146F
→
10/14 01:21, , 147F
哈哈 PAPER裡的報表有很可愛的解說箭頭
10/14 01:21, 147F
‣ 更多 Prozac 的文章
文章代碼(AID): #1ChSuxXT (Statistics)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 3 之 5 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共5篇)
‣ 更多 Prozac 的文章
文章代碼(AID): #1ChSuxXT (Statistics)