[問題] loss 一直降不下來
之前在自己嘗試 Adam 跟 RAdam 的差異時，
有時候會遇到一個狀況是使用 Adam 的時候，model 一直 train 不起來
我所謂的train 不起來是 train loss 從第一個 epoch 開始就不太會動
怪的是，我換成 RAdam 時好了。
更怪的是，再換回去 Adam時也可以正常 train 了
這中間我沒有變更 model 及其他超參數。
原本我自己覺得這大概是一開始的隨機初始值影響，
可能在訓練的時候要拚一下人品(?)
然而這幾天再嘗試一個高維度的資料降維，想說試著使用 AutoEncoder 來降維
loss 嘗試了 binary_catgoricalentropy 以及 mse
optimizer 也嘗試了 Adam 或 RAdam
依舊是 train 不太起來的狀況
跟朋友討論時懷疑是否是維度太高 (大約五六百維)造成，
但這幾天想想不太可能啊，從李宏毅之前的課看起來
700多維的應該也是可以 trian 得起來
難道訓練真的要拚人品嗎 ?
但總覺得這樣好像有點太憑運氣，
因此想請問一下大家
訓練過程是否還有其他因素會導致這樣完全 train 不起來 ?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.129.5.37 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1568449757.A.928.html
→
09/14 16:47,
4年前
, 1F
09/14 16:47, 1F
→
09/14 16:47,
4年前
, 2F
09/14 16:47, 2F
→
09/14 17:54,
4年前
, 3F
09/14 17:54, 3F
推
09/14 18:36,
4年前
, 4F
09/14 18:36, 4F
→
09/14 18:36,
4年前
, 5F
09/14 18:36, 5F
→
09/14 18:36,
4年前
, 6F
09/14 18:36, 6F
→
09/15 02:23,
4年前
, 7F
09/15 02:23, 7F
推
09/15 10:15,
4年前
, 8F
09/15 10:15, 8F
推
09/15 16:16,
4年前
, 9F
09/15 16:16, 9F
推
09/15 23:45,
4年前
, 10F
09/15 23:45, 10F
推
09/18 12:39,
4年前
, 11F
09/18 12:39, 11F
推
09/20 10:42,
4年前
, 12F
09/20 10:42, 12F
→
09/20 10:42,
4年前
, 13F
09/20 10:42, 13F