[問題] 最小平方法為何要先「平方」

看板Statistics作者 (azzc1031)時間4年前 (2019/08/07 17:31), 4年前編輯推噓9(9推 0噓 33→)
留言42則, 13人參與, 4年前最新討論串1/1
最小平方法（Least Squares)的概念是： 我們想找到一條直線 使得所有資料點與這條直線的距離最短 如下圖所示，我們希望綠色線的距離最短： https://i.imgur.com/ccaENMc.jpg
然後將它平方，我們希望正方形面積加起來最小： https://i.imgur.com/kEyXFlT.jpg
我的疑問是，為何要先將殘差平方後再加總呢？照理說，找到殘差加總為0的線就是最佳 配適線了吧？ 麻煩大神解惑! -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.4.158 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1565170280.A.3EA.html ※ 編輯: azzc1031 (101.12.4.158 臺灣), 08/07/2019 17:32:00 ※ 編輯: azzc1031 (101.12.4.158 臺灣), 08/07/2019 17:34:15
→
08/07 17:58, 4年前 , 1F
殘差有正有負 取絕對值不好微分 所以取平方
08/07 17:58, 1F
推
08/07 18:26, 4年前 , 2F
絕對值不好計算以及推導
08/07 18:26, 2F
推
08/07 19:10, 4年前 , 3F
先平方是因為平面座標兩點的距離是平方開根號，但根號在
08/07 19:10, 3F
→
08/07 19:10, 4年前 , 4F
統計上不好處理，所以取其平方和作為距離的總和；如果用和
08/07 19:10, 4F
→
08/07 19:10, 4年前 , 5F
的平方就意義上完全失去距離的概念。
08/07 19:10, 5F
→
08/07 19:11, 4年前 , 6F
跟正方形面積毫無關係
08/07 19:11, 6F
→
08/07 19:48, 4年前 , 7F
因為殘差和最小(不平方)等價於殘差和要是零，這個時候你
08/07 19:48, 7F
→
08/07 19:48, 4年前 , 8F
怎麼找殘差和最小？可以說是模型結構本身造成的，也可以
08/07 19:48, 8F
→
08/07 19:48, 4年前 , 9F
說是直接求殘差和最小會造成一些資訊喪失，個人淺見
08/07 19:48, 9F
→
08/07 20:04, 4年前 , 10F
... "距離"的定義有很多種...
08/07 20:04, 10F
推
08/07 20:07, 4年前 , 11F
你也可以用絕對值（即距離）但數學上不好操作（其實現在
08/07 20:07, 11F
→
08/07 20:07, 4年前 , 12F
電腦都可以做了）
08/07 20:07, 12F
→
08/07 20:09, 4年前 , 13F
(我是原po)，關於正方形面積的概念，我是從MIT的開放課
08/07 20:09, 13F
→
08/07 20:09, 4年前 , 14F
程得來的：
08/07 20:09, 14F
→
08/07 20:09, 4年前 , 15F
08/07 20:09, 15F
→
08/07 20:10, 4年前 , 16F
08/07 20:10, 16F
→
08/08 04:07, 4年前 , 17F
你的直線要決定截距和斜率 若只有"殘差加總為0"一個
08/08 04:07, 17F
→
08/08 04:08, 4年前 , 18F
限制式就有無限多組解
08/08 04:08, 18F
→
08/08 04:10, 4年前 , 19F
要求"殘差絕對值和最小"在這個年代有電腦其實是很好
08/08 04:10, 19F
→
08/08 04:11, 4年前 , 20F
解 紙筆年代只能解"平方和最小"
08/08 04:11, 20F
→
08/08 04:18, 4年前 , 21F
紙筆年代的最小平方法大家沿用而已 並沒有一定要用它
08/08 04:18, 21F
→
08/08 04:19, 4年前 , 22F
的道理 你要絕對值和最小也可以 反正電腦很容易解
08/08 04:19, 22F
→
08/08 04:20, 4年前 , 23F
當然最小平方法有理論上的一些優點 例如給出BLUE
08/08 04:20, 23F
→
08/08 04:21, 4年前 , 24F
也有缺點 例如outlier對迴歸的影響特別大
08/08 04:21, 24F
推
08/09 07:04, 4年前 , 25F
若採用最小化絕對值就是分位數回歸，數學上不好處理，但
08/09 07:04, 25F
→
08/09 07:04, 4年前 , 26F
也非常有用，特點是不會被極端值影響。另外，平方殘差不
08/09 07:04, 26F
→
08/09 07:04, 4年前 , 27F
只是因為好處理，可以google「誤差論與最小平方法」
08/09 07:04, 27F
推
08/17 11:48, 4年前 , 28F
容忍小的誤差，懲罰大的誤差
08/17 11:48, 28F
推
08/23 13:55, 4年前 , 29F
這是人為設計出來的一個函數，使函數越小則越接近最佳解，
08/23 13:55, 29F
→
08/23 13:55, 4年前 , 30F
所以不一定要用平方，譬如用四次方或絕對值也有一樣的效果
08/23 13:55, 30F
→
08/23 13:55, 4年前 , 31F
，但應用上會選擇比較好用的，所以就很常看到用平方來處理
08/23 13:55, 31F
→
08/23 13:55, 4年前 , 32F
。
08/23 13:55, 32F
推
08/24 12:36, 4年前 , 33F
1.什麼都不處理正負會相消 就沒啥意義了
08/24 12:36, 33F
→
08/24 12:36, 4年前 , 34F
2.絕對值跟平方的功能差不多 就是把負號弄不見
08/24 12:36, 34F
→
08/24 12:37, 4年前 , 35F
3.絕對值在數學處理上就是很煩,平方好操作很多
08/24 12:37, 35F
→
08/24 12:38, 4年前 , 36F
你自己想下, 大一或大二教絕對值, 然後在那邊推導,
08/24 12:38, 36F
→
08/24 12:38, 4年前 , 37F
應該無人聽有,但用平方,微分一下結果就出來了,
08/24 12:38, 37F
→
08/24 12:39, 4年前 , 38F
還可以複習下Cramers' Rule, 教學效果好太多
08/24 12:39, 38F
→
08/24 12:39, 4年前 , 39F
另外就是實務上也已經大多用最小平方法
08/24 12:39, 39F
→
08/24 12:39, 4年前 , 40F
你用其他的也不是說不行,但現在看起來會不太必要
08/24 12:39, 40F
推
08/24 16:10, 4年前 , 41F
分位數回歸蠻有用的唷
08/24 16:10, 41F
推
10/12 04:40, 4年前 , 42F
推recorriendo
10/12 04:40, 42F
‣ 更多 azzc1031 的文章
文章代碼(AID): #1TIffeFg (Statistics)