[線代] 最小平方法求解問題

看板Math作者 (Frederick)時間8年前 (2017/12/06 18:18), 8年前編輯推噓11(11推 0噓 32→)
留言43則, 9人參與, 8年前最新討論串1/1
最小平方法求解觀念問題 (線性代數相關) 小弟不才我在跑matlab的時候知道有個方法可以快速求出近似解 matlab中的反除\ ，想知道其理看了LARSON(下圖)的書 他的推倒是說其投影像量跟原本向量相減的向量是最短的向量，因為垂直距離距離為最短 ，固可求出最近似的解 想問的是　為什麼這個最近似的解是到每條線的距離"平方"和最短，而不是到每條線的距 離 最短，而是有個平方呢？ 實際跑個程式計算也發現最小平方的解並不會＝最小距離的解，求發問　嗚嗚 https://i.imgur.com/pG4B6kl.jpg
-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.114.43.115 ※ 文章網址: https://www.ptt.cc/bbs/Math/M.1512555527.A.40F.html ※ 編輯: FrederickLiu (140.114.43.115), 12/06/2017 18:23:44
→
12/06 18:30, 8年前 , 1F
這估狗很多東西啊
12/06 18:30, 1F
→
12/06 18:51, 8年前 , 2F
ㄜ我有找，可是照這個推到應該是距離的一次方合不是
12/06 18:51, 2F
→
12/06 18:51, 8年前 , 3F
嗎
12/06 18:51, 3F
推
12/06 18:53, 8年前 , 4F
因為有正有負阿，平方才會都是正
12/06 18:53, 4F
推
12/06 19:32, 8年前 , 5F
印象中好像有一個跟絕對值函數性質有關的原因
12/06 19:32, 5F
→
12/06 19:32, 8年前 , 6F
就是絕對值函數在 0 不可微
12/06 19:32, 6F
→
12/06 19:33, 8年前 , 7F
如果單問距離和的話要用絕對值函數而非平方函數
12/06 19:33, 7F
推
12/06 19:33, 8年前 , 8F
如果不平方 就要取絕對值 那就變robust regression
12/06 19:33, 8F
→
12/06 19:33, 8年前 , 9F
主要是想消除outlier的影響
12/06 19:33, 9F
→
12/06 19:34, 8年前 , 10F
我的印象是這個不可微好像會不太好做事的樣子(?)
12/06 19:34, 10F
推
12/06 19:35, 8年前 , 11F
類似的問題 可參考ridge跟LASSO 或是更一般化的brid
12/06 19:35, 11F
→
12/06 19:35, 8年前 , 12F
ge regression (lp norm for p in (0, 1))
12/06 19:35, 12F
→
12/06 19:36, 8年前 , 13F
喔 不會 加絕對值可以轉化成可解的線性規劃問題 sim
12/06 19:36, 13F
→
12/06 19:36, 8年前 , 14F
plez method或內點法 都是演算法
12/06 19:36, 14F
推
12/06 20:05, 8年前 , 15F
最小平方法也可以從幾何的觀點得到，不一定要微分
12/06 20:05, 15F
→
12/06 20:05, 8年前 , 16F
如po圖中的示意圖，絕對值應該也可以
12/06 20:05, 16F
→
12/06 23:01, 8年前 , 17F
首先非常感謝各位精闢的解答，讓我知道自己還有很多
12/06 23:01, 17F
→
12/06 23:02, 8年前 , 18F
東西需要學習。我本身並非數學相關科系，所以你們
12/06 23:02, 18F
→
12/06 23:02, 8年前 , 19F
說的一些專有名詞我可能還要想想，目前具備的知識
12/06 23:02, 19F
→
12/06 23:02, 8年前 , 20F
有高中數學到大學微積分以及線性代數基礎，最主要
12/06 23:02, 20F
→
12/06 23:02, 8年前 , 21F
的問題是看課本的幾何推倒有種應該是距離一次方和是
12/06 23:02, 21F
→
12/06 23:02, 8年前 , 22F
最短，而我發現自己很蠢的是距離在向量的算法本來就
12/06 23:02, 22F
→
12/06 23:02, 8年前 , 23F
有平方，所以每個ax-b的平方相加會最小，非常謝謝各
12/06 23:02, 23F
→
12/06 23:02, 8年前 , 24F
位回答，不過還想再問一個問題，如果要求每個ax-b
12/06 23:02, 24F
→
12/06 23:02, 8年前 , 25F
的絕對值相加會最小的算法，要怎麼算呢？
12/06 23:02, 25F
→
12/06 23:20, 8年前 , 26F
特別感謝liam的回答，剛爬文了一下，如果要求出誤差
12/06 23:20, 26F
→
12/06 23:20, 8年前 , 27F
最小的解就需要他所說的知識貌，再次謝謝各位
12/06 23:20, 27F
推
12/06 23:23, 8年前 , 28F
可能情況：x坐標代表身高、y坐標代表體重，那這張圖
12/06 23:23, 28F
→
12/06 23:24, 8年前 , 29F
上的「距離」到底是什麼東西呢？
12/06 23:24, 29F
→
12/06 23:25, 8年前 , 30F
1kgw應該當成1m還是1cm？
12/06 23:25, 30F
推
12/07 09:14, 8年前 , 31F
@Vulpix 在回歸裡面基本不太討論距離的實質意義 而
12/07 09:14, 31F
→
12/07 09:14, 8年前 , 32F
是求出係數(beta)之後 討論改變一單位的x，y的相對
12/07 09:14, 32F
→
12/07 09:14, 8年前 , 33F
變化。如果單位不一致 可以考慮standardized regres
12/07 09:14, 33F
→
12/07 09:14, 8年前 , 34F
sion
12/07 09:14, 34F
推
12/07 09:15, 8年前 , 35F
@原po 要求解robust regression可以參考dimension l
12/07 09:15, 35F
→
12/07 09:15, 8年前 , 36F
ifting method (一般是講parameterization method)
12/07 09:15, 36F
→
12/07 09:15, 8年前 , 37F
便理論的線性規劃的書大概都會講
12/07 09:15, 37F
推
12/07 09:22, 8年前 , 38F
在內積向量空間中，範數(或說長度)定義是向量自己
12/07 09:22, 38F
→
12/07 09:22, 8年前 , 39F
跟自己內積再開根號，所以開根號後的值最小，平方
12/07 09:22, 39F
→
12/07 09:22, 8年前 , 40F
後也會最小。我個人是猜測程式化的過程有誤。
12/07 09:22, 40F
推
12/07 13:15, 8年前 , 41F
我們要看的是理論值和實際值的差距，所以不是看
12/07 13:15, 41F
→
12/07 13:15, 8年前 , 42F
點到線的垂直距離
12/07 13:15, 42F
推
12/09 06:01, 8年前 , 43F
推文也扯太遠 單就這個示意圖說 就是畢氏定理有平方
12/09 06:01, 43F
‣ 更多 FrederickLiu 的文章
文章代碼(AID): #1Q9yG7GF (Math)