[其他] 最小方差解

看板Math作者 (SaltLake)時間8年前 (2017/09/04 06:10), 8年前編輯推噓7(7推 0噓 22→)
留言29則, 4人參與, 最新討論串1/1
對線性系統求解 A*x = b可能有唯一解 無解或無限多解 無解的時候 可以用最小平方法(least squares method) 求最佳近似解 無限多解的時候也可以用最小平方法求最小範數(Norm)的 最佳近似解 以上各解的推導可以從定率性(deterministic)或統計法 去推導 問題在於不知如何從統計觀點去推導以上各解 有甚麼書或文章有容易了解的推導嗎? 還是有網友能秀一下? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.249.170 ※ 文章網址: https://www.ptt.cc/bbs/Math/M.1504476647.A.951.html
推
09/04 13:34, , 1F
我記得線性代數聖經本第4版的 Thm6.12 是證明最小平
09/04 13:34, 1F
→
09/04 13:34, , 2F
方差解，Thm6.13 是證明最小範數解，不知這樣可不可
09/04 13:34, 2F
→
09/04 13:35, , 3F
以？完全是從線性代數切入，跟統計無關。
09/04 13:35, 3F
→
09/04 13:43, , 4F
不過既然是聖經本，就是著重正確性，故未必好理解
09/04 13:43, 4F
聖經書名能寫一下嗎? 所以想了解線性系統解的統計觀點 因為聽說可以探討各個變數的變異數差異對解的影響? 雖然物理問題可以轉成線性方程組 但是物理量測總有誤差 也許要從統計觀點去探討比較"真"? ※ 編輯: saltlake (114.44.249.170), 09/04/2017 15:03:04
→
09/04 15:48, , 5F
https://goo.gl/p3WrBH 網路上有pdf載點，但似乎不
09/04 15:48, 5F
→
09/04 15:48, , 6F
太好找，建議到圖書館借紙本書比較好通篇閱讀，通常
09/04 15:48, 6F
→
09/04 15:48, , 7F
一個定理都是由前面許多lemma堆砌起來的
09/04 15:48, 7F
→
09/04 15:49, , 8F
我這邊有pdf檔，真的找不到可以再寄我站內信
09/04 15:49, 8F
→
09/04 15:51, , 9F
不過完全沒有統計喔，如果要追求正確性的話，可能要
09/04 15:51, 9F
→
09/04 15:51, , 10F
把整本線性代數先有個概念，才會看懂證明
09/04 15:51, 10F
→
09/04 15:56, , 11F
09/04 15:56, 11F
→
09/04 15:57, , 12F
09/04 15:57, 12F
→
09/04 15:58, , 13F
09/04 15:58, 13F
→
09/04 15:59, , 14F
09/04 15:59, 14F
→
09/04 16:01, , 15F
後來看了一下您的回覆，我覺得這本書可能沒有Orz
09/04 16:01, 15F
推
09/04 17:23, , 16F
統計觀點的話...線性迴歸？
09/04 17:23, 16F
嗯 似乎偏那方面 但是是多組聯立 ※ 編輯: saltlake (114.44.249.170), 09/04/2017 17:29:19
推
09/04 21:26, , 17F
Regression analysis, seber
09/04 21:26, 17F
推
09/04 23:05, , 18F
對啊不就 linear regression 而已?
09/04 23:05, 18F
推
09/04 23:26, , 19F
假設 regression line 是 y= A x + b
09/04 23:26, 19F
→
09/04 23:27, , 20F
對每一點和此線之差距可由 di = yi - Axi - b
09/04 23:27, 20F
→
09/04 23:28, , 21F
(i 為下標, i= 1~n)
09/04 23:28, 21F
→
09/04 23:31, , 22F
取 (di)平方, 對 i=1~n 作和, F= sigma(di^2)
09/04 23:31, 22F
→
09/04 23:32, , 23F
然後取 partial F/partial A = 0, 且 partial F/par
09/04 23:32, 23F
→
09/04 23:34, , 24F
tial b = 0, 就可以導得迴歸直線斜率 A, 及截距 b
09/04 23:34, 24F
→
09/04 23:35, , 25F
的公式, 這種作法就只用到直觀幾何以及偏微分
09/04 23:35, 25F
推
09/07 12:37, , 26F
結果我完全搞錯方向了.... 線代課本證的是唯一性&存
09/07 12:37, 26F
→
09/07 12:37, , 27F
在性
09/07 12:37, 27F
→
09/07 12:37, , 28F
肯寧大大是對的
09/07 12:37, 28F
推
09/07 15:12, , 29F
也不能說搞錯方向...確實線代+一點微積分就能解釋了
09/07 15:12, 29F
‣ 更多 saltlake 的文章
文章代碼(AID): #1Ph7tdbH (Math)