Re: [問題] L1與L2正規化的差別
※ 引述《bokxko1023 (bokxko1023)》之銘言：
: 在網路上看了不少文章，但還是無法理解為何L1會具有稀疏的特性？這兩者的具體差別到
: 底是什麼呢，能用gradient descent 在微分時的差別來解釋嗎？
: 另外想請問大家是怎麼選正規化的權重alpha的？雖說知道是用trial and error，但數字
: 範圍這麼廣，有沒有限縮範圍的方法呢？
: 感謝大家
一點數學史
大概在十幾年前
Tao跟Donoho在研究compressive sensing時
忘記是誰發現L0 optimization可以relax成L1 optimization
稀疏是從L0來的
但L0-norm不是convex problem
L1是convex
所以可以用convex optimization的方法下去解
大概二十幾年前convex optimization領域有突破 大家才知道怎麼解L1
才解得出 L0 的 sparse recovery
像 LASSO
我猜當年 Tibshirani 剛弄出來沒爆紅也是因為大家不知道怎麼有效率的算 L1
但其實 L0 才是大家想解的東西
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 68.71.180.136
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1522977183.A.35B.html
※ 編輯: abc2090614 (68.71.180.136), 04/06/2018 09:16:05
推
04/06 09:20,
6年前
, 1F
04/06 09:20, 1F
→
04/06 09:35,
6年前
, 2F
04/06 09:35, 2F
推
04/06 14:57,
6年前
, 3F
04/06 14:57, 3F
推
04/06 15:35,
6年前
, 4F
04/06 15:35, 4F
→
04/06 15:36,
6年前
, 5F
04/06 15:36, 5F
→
04/06 15:37,
6年前
, 6F
04/06 15:37, 6F
推
04/06 16:37,
6年前
, 7F
04/06 16:37, 7F
討論串 (同標題文章)