[其他] l2-, l1-, l0-norm minimization

看板Math作者 (バカ)時間12年前 (2013/09/09 16:28), 編輯推噓2(2015)
留言17則, 6人參與, 6年前最新討論串1/1
最近因為研究需要,被老闆逼看最佳化的東西 但看了一陣子,有些觀念還是不大能體會 一般書籍都會拿 line/curve fitting 來當例子 也就是我們丟了一堆資料點下去,試著找出一條直線/曲線來逼近它 min ||x||_2 subject to y = Ax, 則最佳解答案會是 (A^T A)^(-1) A^T y 到這邊為止觀念都還滿好懂的,就是把線上的點跟資料距離最小化,其距離測量採用 l2-norm 但我看到很多論文上,都會出現 l1-, l0- 的情況 不知道在什麼情況之下會需要呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 96.47.226.20

09/09 18:45, , 1F
主要是好算,L1是線性,L0可透過正負變數來線性化
09/09 18:45, 1F

09/09 18:45, , 2F
L2是二次式,計算量較大
09/09 18:45, 2F

09/09 18:47, , 3F
我猜這邊的L0應該是L_無窮大(L_oo) =.=?
09/09 18:47, 3F

09/09 19:16, , 4F
L1 norm 是距離取絕對值嗎?
09/09 19:16, 4F

09/09 19:17, , 5F
絕對值在原點不可微分。雖然好算,可是解析性質可能
09/09 19:17, 5F

09/09 19:17, , 6F
不太可愛...?
09/09 19:17, 6F

09/09 19:19, , 7F
L2 norm因為是距離平方的關係,所以out-lier的權重會
09/09 19:19, 7F

09/09 19:19, , 8F
比較重。
09/09 19:19, 8F

09/10 02:16, , 9F
L1 norm 就是 x+y (即曼哈頓距離)
09/10 02:16, 9F

09/10 02:16, , 10F
L0...我也覺得應該是 L∞ (=各參數的最大值)
09/10 02:16, 10F

09/10 02:18, , 11F
因為 L0 好像相對不常用的樣子
09/10 02:18, 11F

09/10 04:02, , 12F
L1 是希望參數 sparse, fit 完後會有許多 0
09/10 04:02, 12F

09/10 04:02, , 13F
L0是指直接控制非0參數的個數吧, 但他不是norm
09/10 04:02, 13F

09/10 04:03, , 14F
而且問題是NP-complete的樣子...
09/10 04:03, 14F

09/10 10:15, , 15F
真的是L0, 定義成非零分量的總數...第一次見到@@
09/10 10:15, 15F

01/02 15:31, 7年前 , 16F
比較重。 https://noxiv.com
01/02 15:31, 16F

07/07 11:25, 6年前 , 17F
L2是二次式,計算量較 http://yaxiv.com
07/07 11:25, 17F
文章代碼(AID): #1IBOR24n (Math)