作者查詢 / kevin1ptt

總覽項目：發文 | 留言 | 暱稱

作者 kevin1ptt 在 PTT [ DataScience ] 看板的留言(推文), 共27則

限定看板：DataScience

首頁

尾頁

[問卷] 台灣AI人才進修研究調查

[ DataScience ]14 留言, 推噓總分: +13

作者: ohhahaha - 發表於 2018/12/26 00:46(5年前)

4^F推kevin1ptt: Done12/26 23:22

Re: [問題] 請教關於Stochastic gradient descent

[ DataScience ]14 留言, 推噓總分: +8

作者: championship - 發表於 2018/04/04 06:30(6年前)

12^F→kevin1ptt: 推！04/06 16:47

13^F→kevin1ptt: 第二篇論文的實驗做得很有趣04/06 16:48

Re: [問題] Validation set 到底在做什麼?

[ DataScience ]6 留言, 推噓總分: +6

作者: CharlieL - 發表於 2018/04/01 06:29(6年前)

6^F推kevin1ptt: 推田神！04/06 16:46

Re: [問題] L1與L2正規化的差別

[ DataScience ]7 留言, 推噓總分: +4

作者: abc2090614 - 發表於 2018/04/06 09:13(6年前)

7^F推kevin1ptt: 推數學史！04/06 16:37

[問題] L1與L2正規化的差別

[ DataScience ]29 留言, 推噓總分: +8

作者: bokxko1023 - 發表於 2018/04/05 15:44(6年前)

6^F推kevin1ptt: https://i.imgur.com/B5W1aK6.jpg04/06 15:57

7^F→kevin1ptt: https://i.imgur.com/PSWgTj4.jpg04/06 15:59

9^F→kevin1ptt: 圖畫得有點醜哈哈，不過 norm regularization term04/06 16:00

10^F→kevin1ptt: 可以對應到一個等價的 norm-constrained problem04/06 16:01

11^F→kevin1ptt: 大概是 min_x f(x) + ||x||_p^p, p = 1 or 2 可以轉成04/06 16:03

12^F→kevin1ptt: min_x f(x), subject to ||x||_p <= C04/06 16:04

13^F→kevin1ptt: 樓上上的忘了加權重了QQ，不過樓上的C會根據權重決定04/06 16:04

14^F→kevin1ptt: 然後回到那兩張圖XD 灰色是f的等高線，x = [x1, x2]^T04/06 16:05

15^F→kevin1ptt: 然後灰色中間是minimum（這樣畫是假設f是棒棒convex）04/06 16:06

16^F→kevin1ptt: 可以看出/想像在多數convex f的情況下，當我們從最小點04/06 16:09

17^F→kevin1ptt: 一圈圈往外面走、直到和norm ball相切，就是找到答案了04/06 16:10

18^F→kevin1ptt: 然後L2 ball因為是圓圓胖胖的，所以在任何點都一樣容易04/06 16:11

19^F→kevin1ptt: 被圈圈碰到；但L1 ball是方方尖尖的，所以圈圈很容易04/06 16:12

20^F→kevin1ptt: 是切在頂點，就會造成稀疏的x啦～04/06 16:13

21^F→kevin1ptt: 不過這個太直觀了，而且實際上也不一定會真的轉換問題04/06 16:14

22^F→kevin1ptt: 實際上有些L1-reg.問題的解法是「刻意」弄出0的04/06 16:15

23^F→kevin1ptt: 比如說OWLQN會在一個維度想要變號的時候不讓他變號，04/06 16:17

24^F→kevin1ptt: 就讓他撞到0的牆，如果下一步gradient夠大才讓他變過去04/06 16:18

25^F推kevin1ptt: https://i.imgur.com/uqPv5lw.jpg04/06 16:22

26^F→kevin1ptt: 這樣可以讓很多gradient很小的維度都被「困在」0，04/06 16:23

27^F→kevin1ptt: 最後的x就會一堆0 耶～（又亂畫圖XD）04/06 16:24

[參選] patrick2dot0

[ DataScience ]20 留言, 推噓總分: +16

作者: patrick2dot0 - 發表於 2018/03/17 10:09(6年前)

3^F推kevin1ptt: 推推！希望交流的風氣可以帶起來03/17 12:32

首頁

尾頁