[討論] 發現模型開始過擬合,開發者能做什麼

看板DataScience作者 (中立評論員)時間3年前 (2020/10/10 19:57), 編輯推噓4(409)
留言13則, 3人參與, 3年前最新討論串1/1
一般用驗證集和訓練集的accuracy, 就能看出這個模型是不是往overfitting的方向發展, 這時開發者能做什麼? (1) 停止訓練 (2) 加入dropout 或是 dropblock等增加訓練亂數 (3) 在每一次的gradient加入error feedback 還有其他方法嗎? 有沒有關於(3)方法的應用呢? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.131.205 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1602331028.A.516.html

10/10 20:10, 3年前 , 1F
可是3的方法應該有一些疑慮,如果給error feedback有點
10/10 20:10, 1F

10/10 20:10, 3年前 , 2F
作弊的感覺,畢竟希望驗證是能部份模擬現實情況,沒看過
10/10 20:10, 2F

10/10 20:10, 3年前 , 3F
資料的狀況下做判斷。而且通常驗證也會割比較少,不如看
10/10 20:10, 3F

10/10 20:10, 3年前 , 4F
驗證出來預測錯誤的地方加上什麼架構可以有效修補。
10/10 20:10, 4F

10/10 22:11, 3年前 , 5F
有加batch normalization? 減少model complexity
10/10 22:11, 5F

10/10 22:15, 3年前 , 6F
Learning rate decay
10/10 22:15, 6F

10/10 23:29, 3年前 , 7F
第一個你要確定是不是真的overfitting
10/10 23:29, 7F

10/10 23:29, 3年前 , 8F
(驗證集accoracy先降後升)
10/10 23:29, 8F

10/10 23:30, 3年前 , 9F
然後確定樣本分佈夠均勻(做交叉驗證)
10/10 23:30, 9F

10/11 00:16, 3年前 , 10F
有時候就是訓練樣本多樣性不夠或是沒好好打散
10/11 00:16, 10F

10/11 00:18, 3年前 , 11F
再來就是加點regularization項牽制,以稍微增加偏差
10/11 00:18, 11F

10/11 00:19, 3年前 , 12F
的方式換得"大幅"增加誤差(要謹慎取捨)
10/11 00:19, 12F

10/11 00:20, 3年前 , 13F
減少
10/11 00:20, 13F
文章代碼(AID): #1VWQ6KKM (DataScience)