Re: [問卦] ［理組請進］有沒有梯度下降法的八卦已回收

看板Gossiping作者schizophrena (你很記者你很腦殘)時間6年前 (2019/03/01 09:09)推噓8(9推 1噓 2→)

留言12則, 12人參與討論串3/4 (看更多)

因為你學的東西都是用倒傳遞宣傳法 (back propagada, BP) 來作到訓練參數的演算法對就是柯文哲說的猶太人被屠殺是最大宣傳的 propaganda 而倒傳遞演算法的原理就是 1. 得到error --> 你的結果和你的目標結果不同產生的差異 error function的定義也是人工智慧裡的一個大問題不同的應用要用不同的誤差函數這樣才能有效訓練參數 2. 對error相對於各個參數作偏微分 --> 可以得到你的模型中各個參數對error的微分 --> 物理意義就是, 你這個參數的變化, 會相對造成error的多少變化(斜率的概念) 3. 反覆訓練利用error的回授 propaganda 去讓權重可以在誤差回授過程慢慢地針對你的樣本調整收斂以現在機器學習領域中很紅的深度學習網路來說你的目標都是要訓練你的模型中的權重w 而深度學習之所以可以達到深度啊~~~ 再深一點~~~ 的原因就是這個模式有一堆w 啊斯~~ 以一個簡單的imagenet這個網路來說就有上萬個w要調校了而你在訓練過程這些上萬個權重就需要在訓練過程被調整在深度學習領域中前傳遞的基本算式是 f(x) = g(wx) + b 激發函數g(x) 就是神經元激發的概念當你被插了一下你會突然地嗯~~~ 啊~~~~ 地叫多大聲就是這個激發函數的概念不同於你插小小力我叫小小聲你插中等力我叫中等聲你插好大力我叫好大聲的那種線性概念 | / | / | / | / |/ |________ 激發函數的概念是你插小小力 ... 沒什麼反應 (死魚) 你插中等力... 反應也沒什麼 (死魚) 我就再大力一點啊啊啊啊啊啊啊啊啊再更大力啊啊啊啊啊啊啊啊然後再更大力也就這樣了... 啊啊啊啊啊啊啊啊啊 (我似乎想到某個......) 函數形狀比較像這樣中間的斜率很大 | _____ | / | / | / |______/ |-----------------> 通常都是用 sigmoid函數為什麼呢因為 sigmoid函數的微分太漂亮啦~~~ 1 sigmoid g(x) = -------------------- 1+exp(-z) 自己微微看不會微分的自己回去跟大一微積分老師下跪懺悔 g'(x) = g(x)(1-g(x)) 而倒傳遞的過程就是先定義誤差函數以最常用的 E = 0.5 * [F-f(x)]^2 來說 F為你的目標輸出, 就是正確答案啦 f(x)是目前在你的參數下你的輸入會輸出的答案你針對其中一個權重對E的偏微分就是 -1 * f'(x) --> 以下面的 f(x) = g(wx)+b來算針對每個w都去算然後一個一個偏微分下去你就可以得到誤差相對於每個權重的變化值這就是梯度 (相對於每個參數的偏微分) 當你知道你的參數的變大會使得誤差變大那你就把參數變小這樣是不是就縮小誤差? 當你知道你的參數變小會使得誤差變大那你就把參數變大嘛!!! 這樣是不是就縮小誤差了!! 一直作一直作一直作一直作一直作一直作一直玩一直玩一直玩一直玩一直玩一直玩一直睡一直睡一直睡一直睡一直睡一直睡作到誤差不會再變多少了 (當然誤差要在一定的量以下才能這麼說啦) 恭喜你收斂了好了~ 這就是你的模型了! 好的這就是為什麼要學倒傳遞還有梯度傳播法的概念倒傳遞演算法是深度學習最大的宣傳謝謝各位 ※ 引述《v0125kevin ()》之銘言： : 理組的各位今天過得好嗎 : 在機器學習領域中 : 不管是吳恩達大師或是李宏毅大師的課程 : 第一個講到的演算法剛好都是梯度下降法 (Gradient descent) : 為何都是從這個演算法開始教 : 是講好的嗎 : 有八卦否 -- 淺藍無色媒體中立評論吸獨吱吱挺貪腐 █████████████████████████████ 文匯報聯合韓粉一日幕僚柯媽佩琪公視原視客家電視中評網旺旺中時館長人渣文本TVBS 三立自由民視人民日報柯粉館粉時力粉川普&美國國防部 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.195.47.122 ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1551402556.A.A1F.html ※ 編輯: schizophrena (123.195.47.122), 03/01/2019 09:10:59

→

kinoga

03/01 09:11, 6年前 , 1^F

03/01 09:11, 1^F

奇怪我都唸moid不知道為什麼一直壓到n... ※ 編輯: schizophrena (123.195.47.122), 03/01/2019 09:12:54

推

HenryLin123

03/01 09:12, 6年前 , 2^F

03/01 09:12, 2^F

※ 編輯: schizophrena (123.195.47.122), 03/01/2019 09:13:48

→

aiweisen

03/01 09:21, 6年前 , 3^F

03/01 09:21, 3^F

推

panda04056

03/01 09:25, 6年前 , 4^F

03/01 09:25, 4^F

推

exprission

03/01 09:26, 6年前 , 5^F

03/01 09:26, 5^F

放心一定會但是你現在幾乎所有在機器學習看到而且你可以拿到code的演算法都會喲 >_^* 不去解決一定是代表很難解決所以不如去想訓練驗證程序怎麼避免你的結果或避免不知道你的結果是local minimum ※ 編輯: schizophrena (123.195.47.122), 03/01/2019 09:30:43

推

breezy1812

03/01 09:41, 6年前 , 6^F

03/01 09:41, 6^F

其實在機器學習領域調參數變得很重要聰明調參數是很重要的你要說的是被以為只會重新產生random再下去跑的那種調參數吧 XD ※ 編輯: schizophrena (123.195.47.122), 03/01/2019 09:45:07

推

neo5277

03/01 09:50, 6年前 , 7^F

03/01 09:50, 7^F

推

a13579230

03/01 09:57, 6年前 , 8^F