Re: [問題] 關於NN之準確度無法上去

看板Python作者 (阿偉)時間4年前 (2019/11/15 23:52), 編輯推噓8(8推 0噓 16→)
留言24則, 3人參與, 4年前最新討論串2/2 (看更多)
※ 引述《oo855050 (阿偉)》之銘言： : 版上各位好 : 小弟目前正在學機器學習，看了李宏毅老師的線上影片，想說自己做一下作業來練習，不 : 過目前訓練中遇到了triaining data的準確率都卡在0.82左右，自己手刻程式訓練的結果 : 是0.82，用keras去訓練也差不多在0.85左右 : 目前手刻使用過的方法有shffle資料 跟用batch去訓練，而gradient descend用了一般的 : GD和momentum的方式 : 想請教版上各位大大，是否有什麼方式是可以提高準確度的呢？ : 上網查一下，似乎挑選資料的特徵也非常重要不過如何挑選就沒什麼概念了QQ : 請問版上大大是否有什麼好的方法可以提升training 的準確率嗎 : 感謝>< 這邊回覆一下moodoa大 資料量為32500筆左右 https://imgur.com/YGXKC3d
此為我目前的網路架構 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.169.144.134 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Python/M.1573833139.A.BAF.html
→
11/16 00:19, 4年前 , 1F
LR太大了
11/16 00:19, 1F
推
11/16 00:54, 4年前 , 2F
如果最後是二元分辨(True/False, 0/1)，那loss比起用'
11/16 00:54, 2F
→
11/16 00:54, 4年前 , 3F
categorical_crossentropy',也許用'binary_crossentro
11/16 00:54, 3F
→
11/16 00:54, 4年前 , 4F
py'會更適合一些
11/16 00:54, 4F
推
11/16 00:59, 4年前 , 5F
然後也許沒有使用one hot encoding 的必要，抑或是我
11/16 00:59, 5F
→
11/16 00:59, 4年前 , 6F
誤會你說的二元分類的意思了？
11/16 00:59, 6F
推
11/16 01:05, 4年前 , 7F
此外像其他板友提過的，可以在第二層加上dropout，最
11/16 01:05, 7F
→
11/16 01:05, 4年前 , 8F
後的activation 從softmax換成sigmoid，以及在fit那邊
11/16 01:05, 8F
→
11/16 01:05, 4年前 , 9F
加上validation_split=0.2取兩成的train data當val. d
11/16 01:05, 9F
→
11/16 01:05, 4年前 , 10F
ata，以此來觀察模型是否缺乏/過度訓練
11/16 01:05, 10F
推
11/16 01:30, 4年前 , 11F
M大看他上篇說的 underfitting可能性比較大
11/16 01:30, 11F
→
11/16 01:31, 4年前 , 12F
簡單解法就是增加層數、節點數
11/16 01:31, 12F
→
11/16 01:32, 4年前 , 13F
換優化器改cost func.都無法改善模型複雜度不足
11/16 01:32, 13F
推
11/16 10:02, 4年前 , 14F
一次dropout
11/16 10:02, 14F
→
11/16 10:02, 4年前 , 15F
第二層dense太小
11/16 10:02, 15F
→
11/16 10:04, 4年前 , 16F
lr拿掉 1e-02....
11/16 10:04, 16F
→
11/16 10:04, 4年前 , 17F
metrics增加error
11/16 10:04, 17F
→
11/16 10:05, 4年前 , 18F
bs=64 就行
11/16 10:05, 18F
→
11/16 10:06, 4年前 , 19F
可以的話弄個one cycle fit
11/16 10:06, 19F
推
11/16 10:10, 4年前 , 20F
loss function改binary_crossentropy
11/16 10:10, 20F
推
11/16 16:50, 4年前 , 21F
如b大所說，如果是under fitting 那就增加層數節點試
11/16 16:50, 21F
→
11/16 16:50, 4年前 , 22F
試看，或是最直觀的增加epochs
11/16 16:50, 22F
推
11/16 17:44, 4年前 , 23F
噢我剛剛看到你的epochs已經30了，那就朝向增加層數和
11/16 17:44, 23F
→
11/16 17:44, 4年前 , 24F
每層增加unit這個方向先試試看吧
11/16 17:44, 24F
‣ 更多 oo855050 的文章
文章代碼(AID): #1Tpicpkl (Python)
‣ 更多 oo855050 的文章
文章代碼(AID): #1Tpicpkl (Python)