[問卦] Second-order optimization在ML會成功嗎?

看板Gossiping作者 (Data scientist)時間4年前 (2019/07/19 21:32), 編輯推噓6(6推 0噓 6→)
留言12則, 10人參與, 4年前最新討論串1/2 (看更多)
大家安安 想請問版上專業的高手，目前做ML的人所使用的optimization methods 幾乎9成以上是用Stochastic gradient(First-order based methods) 想請問各位覺得Newton Methods(Second-order based optimization) 在ML有可能成功嗎? 如果會成功，各位覺得會在什麼情況下成功? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.42.226.133 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1563543126.A.5AF.html
→
07/19 21:32, 4年前 , 1F
沒什麼意義因為還是都是線性系統的範圍
07/19 21:32, 1F
推
07/19 21:33, 4年前 , 2F
這我早就研究過了 去翻我以前除出的書的備註
07/19 21:33, 2F
→
07/19 21:37, 4年前 , 3F
牛頓法不是很基礎嗎？竟然沒用？
07/19 21:37, 3F
推
07/19 21:41, 4年前 , 4F
快點推文，免得被笑我不懂
07/19 21:41, 4F
推
07/19 21:42, 4年前 , 5F
複雜度太高加上不夠接近optimal沒用
07/19 21:42, 5F
推
07/19 21:42, 4年前 , 6F
在 leogadian論文中關於typical ironic theor
07/19 21:42, 6F
推
07/19 21:43, 4年前 , 7F
複雜度太高 一樣都是逼近法 步伐切細一
07/19 21:43, 7F
→
07/19 21:44, 4年前 , 8F
點差不多
07/19 21:44, 8F
推
07/19 21:45, 4年前 , 9F
耗費太多運算資源，但換不太到多好的結果
07/19 21:45, 9F
→
07/19 21:49, 4年前 , 10F
2nd需要Hessian matrix，一般都是用近似法
07/19 21:49, 10F
→
07/19 21:50, 4年前 , 11F
如果真的是好的模型，不用2nd結果也會很好
07/19 21:50, 11F
→
07/19 22:13, 4年前 , 12F
K-FAC
07/19 22:13, 12F
‣ 更多 Hodge 的文章
文章代碼(AID): #1TCSPMMl (Gossiping)
‣ 更多 Hodge 的文章
文章代碼(AID): #1TCSPMMl (Gossiping)