[其他]請問Regularization的數學方法

看板Math作者 (旅程)時間9年前 (2016/09/10 15:18), 9年前編輯推噓0(006)
留言6則, 1人參與, 最新討論串1/1
Regularization可以用來平滑曲線 https://en.wikipedia.org/wiki/Regularization_(mathematics) 原始資料 = 平滑資料 + 雜訊 Tikhonov Regularization(ridge regression) 限制beta Total Variation Regularization 限制1階微分 Cubic Smoothing Spline 限制2階微分 ^^^^^^^^^^^^^^^^ 就是經濟學常見的HP濾波 3者都是讓 (原始資料與平滑資料的平方差 + 額外限制)最小化 也都能透過求反矩陣找到平滑資料 若沒有額外限制就是常見的最小平方法迴歸 請問就數學方法來說是不是可以用限制1階 2階....N階微分找平滑曲線 甚至 同時限制 1階微分+2階微分 或者更多個同時限制條件 看數學式 都很像最小平方法,只是多加一些運算式 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.237.205.137 ※ 文章網址: https://www.ptt.cc/bbs/Math/M.1473491924.A.09A.html ※ 編輯: newlylive (36.237.205.137), 09/10/2016 15:19:26

09/10 20:51, , 1F
constrained leadt squares
09/10 20:51, 1F

09/10 20:53, , 2F
常見的就是 lasso (l1 norm) ridge(l2 norm) 跟 bri
09/10 20:53, 2F

09/10 20:53, , 3F
dge regression (lp norm)等
09/10 20:53, 3F
這些都是對beta作限制 但常見都是在論文中吧 課本中我就都沒看過 ※ 編輯: newlylive (36.237.205.137), 09/12/2016 00:07:30

09/12 13:04, , 4F
課本至少有ridge
09/12 13:04, 4F

09/12 13:06, , 5F
spline smoothing就要看看專書或是nonparametric的
09/12 13:06, 5F

09/12 13:06, , 6F
一些書
09/12 13:06, 6F
文章代碼(AID): #1NqxFK2Q (Math)