[請益] deep learning怎麼學習？

看板Soft_Job作者 (小羊快跑啊)時間8年前 (2017/07/29 18:33), 編輯推噓41(42推 1噓 55→)
留言98則, 35人參與, 最新討論串1/3 (看更多)
最近被deepmind的AI震驚 AI最核心部分是deep learning 閱讀文獻得知，deep learning 是透過artificial neural network 透過一層一層neuron堆疊，得到一個output 目前解決方法是找到gradient descent 或者現今有比他更好的方式？ 透過和標準答案的loss，取得最低點。 但過多層可能導致Vanishing Gradient 都是最低點，可能要透過調整達成 若想自學要從哪一方面進入，若相關職缺基礎門檻是什麼。 今年30歲，想做一個人工智慧夢。 請問有可能的掛嗎 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.9.65.232 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1501324410.A.616.html
推
07/29 18:42, , 1F
如果你英文還可以的話 MOOC有不少
07/29 18:42, 1F
推
07/29 18:46, , 2F
CS231n很有名 不過我還沒看過所以不太確定對初學者好不好
07/29 18:46, 2F
推
07/29 19:11, , 3F
拿個現成的framework來用小學生也會寫deep learning
07/29 19:11, 3F
推
07/29 19:13, , 4F
當興趣可以 但要當職業就非常難了
07/29 19:13, 4F
推
07/29 19:21, , 5F
07/29 19:21, 5F
→
07/29 19:21, , 6F
這個可以先看看
07/29 19:21, 6F
推
07/29 19:28, , 7F
reinforcement learning
07/29 19:28, 7F
推
07/29 19:37, , 8F
人機大戰的時候，圍棋板很多人在教深度學習
07/29 19:37, 8F
推
07/29 19:50, , 9F
沒有數學底子都只能在表面繞
07/29 19:50, 9F
→
07/29 19:51, , 10F
我看了三門MOOC之後的感想
07/29 19:51, 10F
推
07/29 20:08, , 11F
要自己弄model 數學要不錯
07/29 20:08, 11F
→
07/29 20:08, , 12F
ML AI DL有很多線上課程
07/29 20:08, 12F
推
07/29 20:10, , 13F
就學深一點阿 你之前學的太淺了
07/29 20:10, 13F
推
07/29 20:20, , 14F
博士班簽下去啊
07/29 20:20, 14F
推
07/29 20:27, , 15F
真的，資工到後面就是都在算數學....
07/29 20:27, 15F
→
07/29 20:27, , 16F
網路上很多Sample code可以先玩一玩
07/29 20:27, 16F
推
07/29 20:42, , 17F
先問問自己幾個問題：你數學強嗎？有興趣嗎？
07/29 20:42, 17F
→
07/29 20:43, , 18F
再考慮要不要學。要學表面很快就能上手，要玩深入很難
07/29 20:43, 18F
→
07/29 20:43, , 19F
如果你只是跟風的話，等你學會熱潮大概也過了
07/29 20:43, 19F
→
07/29 20:46, , 20F
數學先弄好
07/29 20:46, 20F
推
07/29 20:48, , 21F
本小弟我以前也覺得dl很潮 後來發現玩DL用套件國中生都會
07/29 20:48, 21F
→
07/29 20:48, , 22F
甚至比學C++簡單 如果要深入還是數學要好 CS到最後精華
07/29 20:48, 22F
→
07/29 20:48, , 23F
還是在數學
07/29 20:48, 23F
推
07/29 20:50, , 24F
我認為隨著越來越多非本科的投入 像一些數學背景的大師
07/29 20:50, 24F
→
07/29 20:50, , 25F
應該能有更驚人的成長
07/29 20:50, 25F
→
07/29 21:06, , 26F
電腦界的大師們同時都有另一個稱號就是數學家
07/29 21:06, 26F
推
07/29 21:43, , 27F
純數的領域其實很虛無飄渺的..其他領域都只能摸點邊
07/29 21:43, 27F
噓
07/29 22:32, , 28F
是要問幾次 去youtube林軒田
07/29 22:32, 28F
→
07/29 22:47, , 29F
英文寫作很重要，DL paper特色之一就是唬爛
07/29 22:47, 29F
推
07/29 23:27, , 30F
把網路上一堆資料丟到你的腦袋裡面training，如果你
07/29 23:27, 30F
→
07/29 23:27, , 31F
學不會，這就代表你的model建壞了，也就是說，你的neu
07/29 23:27, 31F
→
07/29 23:27, , 32F
ron不夠多，你就知道你不適合了，因為你train壞的問題
07/29 23:27, 32F
→
07/29 23:27, , 33F
是先天的
07/29 23:27, 33F
推
07/29 23:57, , 34F
認真說 DL的paper很多不會DL也看的懂 數學不好沒關係
07/29 23:57, 34F
→
07/29 23:57, , 35F
反正結構改一改有不同的構想也能做出新東西 背後數學
07/29 23:57, 35F
→
07/29 23:57, , 36F
的理論我覺得主要是stat跟proba (至少ml整體是這樣)
07/29 23:57, 36F
→
07/29 23:57, , 37F
然後那些東西感覺主修數學唸到碩博士大概都不一定夠
07/29 23:57, 37F
→
07/29 23:57, , 38F
了
07/29 23:57, 38F
→
07/30 00:23, , 39F
套一句某數學大師的話 懂基礎的實分析就可以做研究了 要是
07/30 00:23, 39F
→
07/30 00:23, , 40F
要搞懂過去某個領域用過的所有數學才能開始 那當代人就不
07/30 00:23, 40F
→
07/30 00:23, , 41F
用創新了
07/30 00:23, 41F
推
07/30 00:38, , 42F
樓上這樣講還不錯 真的要搞懂 數學系也很多都不懂
07/30 00:38, 42F
→
07/30 00:38, , 43F
我們站在巨人的肩膀上就好了
07/30 00:38, 43F
→
07/30 00:39, , 44F
keras 也是設計的平易近人
07/30 00:39, 44F
→
07/30 00:40, , 45F
先有實作經驗 久了就會主動去了解背後的原理
07/30 00:40, 45F
推
07/30 00:47, , 46F
我也覺得樓上有些人誇大 DL現在這麼火紅其實也是站在巨人
07/30 00:47, 46F
→
07/30 00:47, , 47F
的肩膀上吧 說數學要多神也還好吧? 很多paper也都著重
07/30 00:47, 47F
→
07/30 00:48, , 48F
理論創新 但還是比較強調實驗吧
07/30 00:48, 48F
→
07/30 01:10, , 49F
我是說有一定的基礎 就可以開始研究...
07/30 01:10, 49F
推
07/30 02:53, , 50F
我真的覺得DL的數學沒有那麼多&難 除非你的目標就是數學
07/30 02:53, 50F
→
07/30 02:54, , 51F
舉GANs當例子，如果你打算從數學的角度搞清楚為什麼
07/30 02:54, 51F
→
07/30 02:55, , 52F
那會很複雜 到目前為止應該還沒有真的搞清楚 只有定性
07/30 02:55, 52F
→
07/30 02:56, , 53F
可是實際上的操作就只是用D多產生一個loss給G而已
07/30 02:56, 53F
推
07/30 03:03, , 54F
其他比較多數學的部分是找更好的loss & 找更多正規化手段
07/30 03:03, 54F
推
07/30 03:17, , 55F
XXXXXXXXD 推paul
07/30 03:17, 55F
推
07/30 03:19, , 56F
不念到實分析是不夠資格做DL的
07/30 03:19, 56F
推
07/30 08:21, , 57F
其實一堆人跳下去前都沒修過實分析啊xD
07/30 08:21, 57F
推
07/30 12:31, , 58F
基本上認識真正懂DL 沒有一個人強調數學要多好才可以研
07/30 12:31, 58F
→
07/30 12:31, , 59F
究的，大概只要有大一的微積分就可以玩了
07/30 12:31, 59F
推
07/30 13:08, , 60F
三樓說小學生可以玩，又有人說要微基分，好亂啊
07/30 13:08, 60F
推
07/30 14:12, , 61F
我是以發paper的角度來看啦 做product當然是另一回事 我
07/30 14:12, 61F
→
07/30 14:12, , 62F
覺得那些人不強調數學要很好 是因為他們本身就很強 強到
07/30 14:12, 62F
→
07/30 14:12, , 63F
以為大家都會..
07/30 14:12, 63F
推
07/30 14:17, , 64F
不過就像上面說的 都是邊做邊學 不然永遠追不上新的技術
07/30 14:17, 64F
→
07/30 16:20, , 65F
正規化方法很多就是從多變量統計出來的 要亂try也可啊 只
07/30 16:20, 65F
→
07/30 16:20, , 66F
不過無法解釋罷了 上面就看到幾個數學很強的啊 整天掛在嘴
07/30 16:20, 66F
→
07/30 16:20, , 67F
上說數學不重要 是怕人搶出路喔 www
07/30 16:20, 67F
→
07/30 16:24, , 68F
看paper最難的 不是演算法如何重現 而是數學看不懂 不知為
07/30 16:24, 68F
→
07/30 16:24, , 69F
啥要這樣做
07/30 16:24, 69F
推
07/30 19:22, , 70F
先把李宏毅老師的課程錄影通通看懂吧
07/30 19:22, 70F
推
07/30 20:51, , 71F
一個領域有很多面向 沒有做凝態先去學弦論的道理
07/30 20:51, 71F
推
07/30 21:44, , 72F
真的要有能力也要花好幾年培養吧,培養出來也頂多在本地
07/30 21:44, 72F
→
07/30 21:44, , 73F
在本地又會哭台灣薪水,出去有跟不了別人菁英競爭 除非
07/30 21:44, 73F
→
07/30 21:45, , 74F
你很神~~~
07/30 21:45, 74F
→
07/30 21:45, , 75F
有人可以舉個幾篇要實分析才看懂的 paper 嗎？
07/30 21:45, 75F
→
07/30 22:19, , 77F
anFree.pdf
07/30 22:19, 77F
→
07/30 22:20, , 79F
這種應該算有些數學在裡面的
07/30 22:20, 79F
→
07/30 22:21, , 80F
然後我自己也沒有詳細讀不要來電我
07/30 22:21, 80F
推
07/31 17:11, , 81F
玩跟有能力改進, 如何train出好model是兩碼子事啊
07/31 17:11, 81F
→
07/31 17:12, , 82F
玩確實小學生可以玩啊XD, 要弄到好現在很多領域都還要
07/31 17:12, 82F
→
07/31 17:12, , 83F
花時間追論文呢
07/31 17:12, 83F
→
07/31 17:14, , 84F
啥都不懂頂多就加更多層, 然後就Vanishing Gradient
07/31 17:14, 84F
→
07/31 17:14, , 85F
然後就兩手一攤
07/31 17:14, 85F
推
07/31 17:16, , 86F
就是個知其然很容易, 知其所以然很難的領域
07/31 17:16, 86F
推
07/31 22:04, , 87F
Vanishing Gradient在目前一般常用的ReLU不會發生
07/31 22:04, 87F
→
07/31 22:05, , 88F
所以之前版上有個Kaggle冠軍就是Vgg+一千層(?)Dense
07/31 22:05, 88F
→
07/31 22:09, , 89F
不會發生，那ResNet或今年CVPR的DenseNet是在做啥
07/31 22:09, 89F
推
07/31 22:20, , 90F
看了一下, 可以在GPU裡面放更大的Model
07/31 22:20, 90F
→
07/31 22:20, , 91F
通過某種Weights/Bias Sharing
07/31 22:20, 91F
推
07/31 23:05, , 92F
Vanishing Gradient也不會發生
07/31 23:05, 92F
推
07/31 23:19, , 93F
就如同LSTM/GRU也不會發生Vanishing Gradient
07/31 23:19, 93F
推
08/01 15:02, , 94F
Cs231n非常不錯，我各人很推薦。
08/01 15:02, 94F
推
08/02 16:44, , 95F
實分析是指高微嗎？
08/02 16:44, 95F
推
08/08 01:03, , 96F
老實說適不適合就看你寫程式會不會留參數 如果你很喜
08/08 01:03, 96F
→
08/08 01:03, , 97F
歡這些參數可以透過一些方法自動算出來 而不是再那tun
08/08 01:03, 97F
→
08/08 01:03, , 98F
e那麼我覺得這樣特質很適合ml ai
08/08 01:03, 98F
‣ 更多 beaprayguy 的文章
文章代碼(AID): #1PV6HwOM (Soft_Job)
‣ 更多 beaprayguy 的文章
文章代碼(AID): #1PV6HwOM (Soft_Job)