Re: [機統] 高中數學的最小平方法

看板Math作者 (老怪物)時間12年前 (2013/07/02 17:56), 編輯推噓1(1013)
留言14則, 4人參與, 6年前最新討論串4/5 (看更多)
※ 引述《s8911409 (~堯)》之銘言: : 最近在備教案時想到一個問題,因為自己的機統背景很弱,過去高中都是背公式不太懂原理 : 故想來請教板上朋友們: : 高中教材中我們在講迴歸直線所用到最小平方法是討論樣本點y與最適直線的殘差平方和 : 那是不是我們今天也可以把y當成常數,把x當成變數去推導迴歸直線的公式? : 而且我還有想到,如果殘差是用點到直線的距離,進一步求最小平方,那麼 : 各點盡量滿足與迴歸直線有最小值,方法上不是會來的比較好嗎? : ps.我覺得這一單元真的不好教,很多公式推導對高中生不易理解,如果有先學過微分還好 : 不曉得有家教經驗或學校實際授課經驗的老師們,你們是怎麼幫學生上這一章節呢? : (二維數據的分析),還是,對於高中生的理解範圍內,大多只能先硬背公式,會用就好? 配適 "迴歸直線" 的準則, 以 "最小平方準則" 結果最簡單. 它的觀念也很簡單, y 與 x 的關係不是簡單的 y = α+βx, 而是 y = α+βx+ε. 以樣本資料來講, 是 y_i = α + βx_i + ε_i 因此, 要估計 α, β 自然而然地想到找讓 Σ(y_i-α-βx_i)^2 最小的 α, β, 因為那樣就像是希望 Σ(ε_i)^2 最小. 至於最後計算 α, β 估計值 a, b 的公式, 也不一定要用 微積分! 因為 Σw_i(y_i-A)^2 = Σw_iy_i^2-2AΣw_iy_i+A^2Σw_i 是 A 的二次函數, 使它最小的 A 是 A = Σ(w_i y_i)/Σw_i 利用上列結果, 使 Σ(y_i-a-bx_i)^2 最小: 固定 b 時, 是 a = Σ(y_i-b x_i)/n = ybar - b*xbar, 或滿足方程式 Σy_i = na + bΣx_i 固定 a, 則使 Σ(y_i-a-bx_i)^2 = Σ(x_i)^2[(y_i-a)/x_i-b]^2 最小的 b 是 b = Σ[(x_i)^2(y_i-a)/x_i]/Σ(x_i)^2 = Σx_i(y_i-a)/Σ(x_i)^2 或滿足方程式 Σx_i y_i = aΣx_i + bΣ(x_i)^2. 解二元聯立方程式 Σy_i = na + bΣx_i Σx_i y_i = aΣx_i + bΣ(x_i)^2 只是國中的小練習而已. 對 "向量" 熟悉, 而且能了解 "n 維空間向量" 者, 還可以 把最小平方法看成是資料向量向一個子空間 (二維平面) 做 垂直投影. 不過, 這可能比用微分更難理解吧? -- 來自統計專業的召喚... 成大計中站 telnet://bbs.ncku.edu.tw Statistics (統計方法及學理討論區) 盈月與繁星 telnet://ms.twbbs.org Statistics (統計:讓數字說話) 交大資訊次世代 telnet://bs2.twbbs.org Statistics (統計與機率) <<<>>> 把自己當成別人。把別人當成自己。把別人當成別人。把自己當成自己 <<<>>> -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 111.252.123.113

07/02 20:42, , 1F
最後那段 應該學過線性代數才會比較好理解
07/02 20:42, 1F

07/05 11:19, , 2F
基本上同意樓上. 不過, 其實不一定要全盤熟悉線性代
07/05 11:19, 2F

07/05 11:19, , 3F
數, 事實上只需要 R^n 向量、垂直、投影的觀念即可.
07/05 11:19, 3F

07/05 11:20, , 4F
當然再加上子空間、基底等觀念, 會更容易明白, 也更
07/05 11:20, 4F

07/05 11:21, , 5F
能了解如何計算.
07/05 11:21, 5F

07/05 11:21, , 6F
文中 Σw_i(y_i-A)^2 的 w_i 是所謂 "權量". 然而,
07/05 11:21, 6F

07/05 11:22, , 7F
此處不一定要有 "加權"、"權量" 這些觀念, 只把它看
07/05 11:22, 7F

07/05 11:23, , 8F
成是 A 的二次函數, 是 Σ(y_i-A)^2 的一般化.
07/05 11:23, 8F

07/05 11:24, , 9F
如果用微積分, 當然直接對 Σ(y_i-a-b)^2 中的 a, b
07/05 11:24, 9F

07/05 11:25, , 10F
做微分即可. 而本文的方法是要避免用微積分, 只用二
07/05 11:25, 10F

07/05 11:25, , 11F
次函數 f(t) = At^2+Bt+C 的性質.
07/05 11:25, 11F

11/10 12:00, , 12F
成是 A 的二次函數, https://daxiv.com
11/10 12:00, 12F

01/02 15:28, 7年前 , 13F
如果用微積分, 當然直 https://daxiv.com
01/02 15:28, 13F

07/07 11:13, 6年前 , 14F
數, 事實上只需要 R http://yaxiv.com
07/07 11:13, 14F
文章代碼(AID): #1HqgF0GJ (Math)
討論串 (同標題文章)
文章代碼(AID): #1HqgF0GJ (Math)