[徵求] 解釋深度學習原理易懂的文章(已整理)

看板DataScience作者 (ponpon)時間6年前 (2018/06/12 20:36), 6年前編輯推噓15(15推 0噓 32→)
留言47則, 15人參與, 5年前最新討論串1/1
以下是廢話跟前言： 小弟是某大大三數學系，OR期末報告做有關深度學習的題目，我使用Keras最簡單的全線 相 連4層感知器模型，其中用到reLU、sigmoid、binary-crossentropy，最後很順利的打完 程式碼了。 但是老師要求我們需要解釋所用到的演算法和深度學習的數學原理，因為能力、時間有限 ，找過許多論文，也翻過deep learning那本原文書，卻還是不解其中奧妙。 以下重點： 故希望板上大大能提供我一些簡單易懂的paper或文章，感激不盡。 —————————————————————— 板友提供的資訊： 1. Michael Nielsen http://neuralnetworksanddeeplearning.com/ 2. 李宏毅老師 http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18 3. 吳尚鴻老師 http://www.cs.nthu.edu.tw/~shwu/ 4. 兩本可參考原文書 (1)http://web.stanford.edu/~hastie/ElemStatLearn (2)https://www.deeplearningbook.org/ 5. 我自己找到頗簡單的文章 https://www.ycc.idv.tw/ml-course-techniques_6.html 6. 林軒田老師(coursera) https://zh-tw.coursera.org/learn/ntumlone-mathematicalfoundations 感謝各位版友熱情的幫忙！！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.56.188 ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1528807009.A.E12.html ※ 編輯: ponponjerry (140.119.134.145), 06/12/2018 20:40:58
→
06/12 22:11, 6年前 , 1F
要不要找ML相關的書籍試試 只看類神經網路的部份就好
06/12 22:11, 1F
→
06/12 22:12, 6年前 , 2F
deep learning那本的數學推導很工程師寫法
06/12 22:12, 2F
→
, , 3F
又一堆字 我也不是看很懂= =
謝謝建議，我再翻翻看ML的書看有沒有符合老師需求的
推
06/12 22:36, 6年前 , 4F
那就換簡單一點的有convex性質的模型，就可以有很多
06/12 22:36, 4F
→
, , 5F
數學性質可以講
不考慮換模型…我不想重打程式，而且組員應該會崩潰
推
06/12 23:00, 6年前 , 6F
去找台大李宏毅老師的上課教材來看
06/12 23:00, 6F
感恩，有稍微看過，「一天學會深度學習」前面有幾頁投影片蠻符合我想找的東西 ※ 編輯: ponponjerry (140.119.134.145), 06/12/2018 23:18:06 ※ 編輯: ponponjerry (140.119.134.145), 06/12/2018 23:20:07
→
06/13 00:52, 6年前 , 7F
演算法最重要就backpropagation，深度學習用universal fun
06/13 00:52, 7F
→
06/13 00:52, 6年前 , 8F
ction approximator看待它就好，特殊結構如convolution或l
06/13 00:52, 8F
→
06/13 00:52, 6年前 , 9F
stm等才比較容易有物理意義去說明
06/13 00:52, 9F
感恩，我之前大略看過backpropagation的演算法，看來得深入瞭解了！
→
06/13 10:05, 6年前 , 10F
李宏毅老師 youtube 上有完整的影片
06/13 10:05, 10F
→
06/13 10:05, 6年前 , 11F
還有林軒田 看完很有幫助
06/13 10:05, 11F
→
06/13 10:06, 6年前 , 12F
06/13 10:06, 12F
→
06/13 10:07, 6年前 , 13F
06/13 10:07, 13F
→
06/13 10:08, 6年前 , 14F
上面是 DL 的電子書 應該可以找到你要的章節
06/13 10:08, 14F
感謝提供！我再看看李宏毅老師相關的教學好了, DL那本我個人覺得幫助沒很大…
推
06/13 11:03, 6年前 , 15F
李老師這學期的MLDS前面三章都講理論可以看看
06/13 11:03, 15F
→
06/13 11:04, 6年前 , 16F
06/13 11:04, 16F
感恩，目前覺得李宏毅老師的教材好像是最好懂的了！ ※ 編輯: ponponjerry (140.119.122.6), 06/13/2018 13:03:59
推
06/13 13:14, 6年前 , 17F
推一個清大吳尚鴻，他有些教材講得比李宏毅清楚
06/13 13:14, 17F
→
06/13 13:15, 6年前 , 18F
不過數學比較多就是了http://www.cs.nthu.edu.tw/~shwu/
06/13 13:15, 18F
稍微看了一下，覺得level蠻高的，感覺比較適合以後研讀XD 不過還是感謝你的提供！
推
06/13 17:11, 6年前 , 19F
李宏毅+1。sigmoid、crossentropy 都很輕鬆推出來
06/13 17:11, 19F
※ 編輯: ponponjerry (140.119.121.6), 06/13/2018 22:37:50
→
06/14 03:32, 6年前 , 20F
直接抄純python寫n-layer nn的code抄一次你就會了
06/14 03:32, 20F
→
06/14 03:32, 6年前 , 21F
github上一狗票給你學
06/14 03:32, 21F
→
06/14 03:33, 6年前 , 22F
吳尚鴻之前我都直接看他的ipynb 他講得我覺得還好@@
06/14 03:33, 22F
我想你會錯意了…如果這位仁兄打完code，數學原理推導也會了，那也只能跪了 ※ 編輯: ponponjerry (140.119.122.6), 06/14/2018 08:40:43
推
06/14 15:51, 6年前 , 23F
你在那call dense就以為是打完code當然不會啊XD
06/14 15:51, 23F
推
06/14 15:54, 6年前 , 24F
不過李宏毅的確這邊超詳細的 應該沒比他更簡單的了
06/14 15:54, 24F
了解！如果等我那樣打完code，大概就明年再來了XD ※ 編輯: ponponjerry (140.119.134.145), 06/14/2018 16:03:08
→
06/14 16:08, 6年前 , 25F
cs231的作業也蠻推薦的 寫完大概就能自己實做出DL框架
06/14 16:08, 25F
推
06/14 16:19, 6年前 , 26F
吳尚鴻的數學講得比較深入 他連最佳化、PAC、NFL都有講
06/14 16:19, 26F
我個人是對這個領域蠻有興趣的，以後基本功強一點再好好研究他的教材XD，感謝你詳細 的介紹！
推
06/14 20:47, 6年前 , 27F
樓上是 PCA 吧
06/14 20:47, 27F
※ 編輯: ponponjerry (140.119.134.145), 06/15/2018 00:23:22
→
06/15 00:22, 6年前 , 28F
抱書回來啃吧
06/15 00:22, 28F
→
06/15 04:23, 6年前 , 29F
我講的是PAC learning
06/15 04:23, 29F
→
06/15 04:27, 6年前 , 30F
這是探討model的Generalization能力的一個理論，主要探
06/15 04:27, 30F
→
06/15 04:28, 6年前 , 31F
討在data分布未知的情況下，倒底需要sample多少資料才能
06/15 04:28, 31F
→
06/15 04:29, 6年前 , 32F
保證expected loss和empirical loss有很大的機率誤差在
06/15 04:29, 32F
→
06/15 04:30, 6年前 , 33F
抹個範圍內。這個理論主要是在1980年代發展的，主要貢獻
06/15 04:30, 33F
→
06/15 04:32, 6年前 , 34F
者Leslie Valiant因此理論獲得Turing Award
06/15 04:32, 34F
→
06/15 04:32, 6年前 , 35F
後面的VC Theory也是在PAC的框架下繼續發展
06/15 04:32, 35F
→
06/15 04:34, 6年前 , 36F
PAC全名是probably approximately correct
06/15 04:34, 36F
推
06/15 10:32, 6年前 , 37F
長知識 推
06/15 10:32, 37F
推
06/15 22:36, 6年前 , 38F
有PAC learning喲
06/15 22:36, 38F
→
06/15 22:36, 6年前 , 39F
很偏數學，跟上面大大說得差不多與PCA是兩個不同的東
06/15 22:36, 39F
→
06/15 22:36, 6年前 , 40F
西
06/15 22:36, 40F
推
06/15 23:47, 6年前 , 41F
PAC我記得田神的課有 但早就忘光...QQ"
06/15 23:47, 41F
※ 編輯: ponponjerry (219.70.183.56), 06/16/2018 01:03:47
推
06/16 21:33, 6年前 , 42F
李鴻毅老師的 youtube 看完發現新世界
06/16 21:33, 42F
推
06/18 14:09, 6年前 , 43F
06/18 14:09, 43F
→
06/18 14:12, 6年前 , 44F
目前看到比較簡單清楚的教學，有python實作(從底層)
06/18 14:12, 44F
謝謝你的提供！！ ※ 編輯: ponponjerry (140.119.134.145), 06/19/2018 23:16:11 ※ 編輯: ponponjerry (140.119.134.145), 06/19/2018 23:20:48
推
07/25 12:51, 5年前 , 45F
想請教一下PAC 是田神的課裡面提到 hoeffding inequalit
07/25 12:51, 45F
→
07/25 12:51, 5年前 , 46F
y 相關的東西嗎？
07/25 12:51, 46F
→
08/02 17:59, 5年前 , 47F
是
08/02 17:59, 47F
‣ 更多 ponponjerry 的文章
文章代碼(AID): #1R7xvXuI (DataScience)